AI生成文が人間の小説を超え評価、AI表示で下落|EC3つの判断軸

AI生成文章が人間の短編小説を品質6%・没入感8%上回った研究を解説。読者の正答率は39.93%。AI表示のラベルが評価を下げる非対称と、EC商品説明・レビュー返信で決めるべき3つの判断軸を示します。

投稿日: カテゴリー AIニュース

読者はAI生成の短編小説を、人間の作品より高く評価しました。

ただし同じ文章に「AIが書いた」というラベルが付くと、評価は下がります。2026年8月4日、ケンブリッジ大学出版局の学術誌に、成人2,587人を対象にした実験結果が掲載されました。AI生成文章の品質評価は人間の作品を6%上回り、没入感では8%上回っています。一方で読者がAI生成かどうかを見分けられた割合は39.93%と、当てずっぽう以下でした。商品説明文やレビュー返信をAIで書いているEC事業者にとって、この非対称は無視できません。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル(うるチカラ運営)が解説します。

ChatGPTの画像生成モデルを表示したパソコン画面とOpenAIのロゴが映るスマートフォン

AI生成文章が人間の短編を上回った実験の中身

結論から言えば、AI生成文章は品質でも没入感でも人間の作品を上回りました。実験を行ったのは、米ヴィラノバ大学心理・脳科学部の Sydney Sears と Deena Skolnick Weisberg です。論文「Bot or not」は、ケンブリッジ大学出版局が発行するJudgment and Decision Makingに2026年8月4日付で掲載されました。

素材は6本の短編です。3本は文芸誌や短編集に載った人間の作品で、残る3本はそれぞれに対応するChatGPTの生成版です。第1実験では18歳から81歳までの1,682人が1本ずつ読み、著者が人間かAIかを正しく、あるいは意図的に誤って伝えられたうえで、品質と没入感を評価しました。

TIMEが報じた効果量によると、AI生成版は品質で6%、没入感で8%高い評価を得ました。さらに「人間が書いた」と伝えられた場合は、そこから3%上乗せされています。最も高い評価を得たのは、実際にはAIが書いたのに人間作だと伝えられた文章でした。

見分けられるかを調べた第2実験(424人)と第3実験(481人)では、正答率がそれぞれ39.93%、51.97%にとどまりました。第2実験は偶然の50%を下回っており、単に迷ったのではなく誤った手がかりで判断していたことになります。興味深いのは、文学に詳しいと自認する人に優位性がなかった点です。効いたのはAIへの習熟度のほうで、自己申告のAI習熟度が1点上がると正答オッズは14%、検証済み指標のAIリテラシー尺度では33%上がりました。

Weisberg はケンブリッジ大学出版局の発表で「AI writing tends to be clearer, more direct and easier to process.(AIの文章は明快で直接的で、処理しやすい傾向がある)」と述べています。手がかりとして挙げられたのは、emダッシュの使い方や「it’s not just X, it’s Y」のような構文でした。

日本のEC事業者にとっての論点は「見分け」ではなく「ラベル」

EC事業者が受け取るべき論点は、文章の出来ではなく開示の扱いです。読者はAI生成文章をむしろ好んでおり、見分けもつきません。評価を動かしていたのは中身ではなく「AIが書いた」というラベルのほうでした。

ここで正確に書いておくべき留保があります。今回の対象は短編小説であり、商品説明文やレビュー返信、メルマガで同じ結果が再現されるかは検証されていません。研究者自身も、3組の物語と1つのAIシステムに依存した設計であること、使われたのが旧世代のChatGPTであることを限界として挙げています。EC文脈への一般化は現時点では「要確認」です。

そのうえで、示唆は小さくありません。ストーニーブルック大学の Cameron Jones は TIME に対し、大規模言語モデルが人間の好み評価で最適化されている点を指摘し、モデルは「誰にでも好かれる平均的な語り手」になりうると語っています。これはEC事業者にとって両義的です。スペック説明や配送案内のように、迷いなく読ませたい文章では明快さがそのまま強みになります。一方でブランドの個性や作り手の言葉のように、他社と違うことに価値がある領域では、万人受けは差別化の逆方向に働きます。Fast Company は、LLM利用が人間の文章を均質化させたとする別の研究にも触れています。

日本市場での開示ルールについても整理が要ります。景品表示法のいわゆるステマ規制(2023年10月1日施行)は、事業者の広告であることを消費者が判別しにくい表示を対象にしたもので、AI生成であること自体の開示を義務づける規定ではありません。ただし楽天市場・Amazon・Shopify・Yahoo!ショッピングそれぞれの規約でAI生成テキストの掲載可否や表示要件がどう定められているかは各社の最新規約で確認が必要です(要確認)。生成AIをレビュー領域で使う際のリスク整理は、プロンプトインジェクション対策の記事生成AI時代の買い物客の信頼も合わせて参照してください。

いま決めておきたい3つの判断軸

第一に、AI生成の明示を一律ルールにしないことです。今回の結果は、ラベルそのものが評価を押し下げうることを示しています。開示するなら「AIで書きました」だけで終わらせず、事実確認の工程や更新頻度をセットで伝える設計にします。商品説明はAIで下書きし、型番・素材・容量・原産国を人が突き合わせる。レビュー返信は担当者名を出して人格を残す。開示の粒度を、責任の所在で決めるという考え方です。

第二に、AI検出を品質ゲートに使わないことです。専門家でない読者の正答率は39.93%から51.97%でした。AI検出ツールの判定を採用基準にすると、通ってはいけない文章を通し、通すべき文章を落とします。ゲートに置くべきは、事実の正確性と薬機法・景品表示法のチェックです。誤情報の混入リスクについては、商品説明文のハルシネーション対策で扱っています。

第三に、AIに任せる領域と人が書く領域を分けることです。明快さが効くのは、商品スペック、サイズ選びの案内、FAQ、配送・返品の説明です。ここは長文出力での商品説明一括生成のような運用に載せて回転を上げます。逆に、ブランドの由来や生産者の言葉、失敗談を含む使用レポートは人が書きます。読者がAIらしさとして挙げたemダッシュや「単なるXではなくYだ」型の構文が自社のコピーに増えていないか、公開前に検索して潰すだけでも印象は変わります。

まとめ

読者はAI生成文章を見分けられず、むしろ高く評価しました。評価を下げるのは文章の質ではなく「AIが書いた」というラベルです。EC事業者が整えるべきは検出精度ではなく、開示の設計と事実確認の工程、そしてAIに任せる文章と人が書く文章の線引きです。研究対象が短編小説である点は割り引きつつ、自社の商品説明とレビュー返信の運用ルールを見直す材料にはなります。

参考文献

※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談(30分)も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/

引用元: EurekAlert!(Cambridge University Press)


【監修】齋藤竹紘(株式会社オルセル代表 / 19年・5,000社のEC支援実績)


投稿者: 齋藤竹紘

株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。

お問い合わせ