投稿者 投稿日: カテゴリー AIニュース
Anthropicの研究によると、専門家50人はAIエージェントがコイントスで決めた意見に86%の確率で従いました。
本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。
The Decoderによると、Anthropicは因果推論の専門家50人を対象に、AIエージェントの助言が専門家の判断をどこまで左右するかを調べた研究を公表しました。AIの選好は各判断点でコイントスにより決められており、参加者には知らされていません。それでも専門家は高い割合でAIの立場を採用し、しかも多くが「自分の意見だ」と感じていました。
何が起きたか：コイントスで決めた意見に専門家が従った
研究の概要は次のとおりです。参加者は架空の農業協同組合の観察データを分析し、任意参加の農業アドバイザリープログラムが生産性をどれだけ高めたかを推定します。そのうえで、プログラムを全農場に広げるか、終了するかを提言します。判断が分かれる選択肢が2つある判断点が全部で5つあり、内訳は分析4つと提言1つです。
AIエージェントの立場は、判断点ごとにコイントスで決まります。エージェントは嘘をつかず、データも隠さず、割り当てられた側の最も強い正直な論拠を示すよう設定されていました。つまり、事実として誤った助言ではなく、あくまで「どちらにも成り立つ論点のうち片方だけを強く推す」という状況を再現しています。
結果として、4つの分析判断で参加者がエージェントの立場に従った割合は86%でした。ランダムであれば50%ですから、大きな偏りです。事前に自分の意見を持っていた場合でも、反対の意見を示されると、同じ意見を示された場合より寝返る確率が53ポイント高くなりました。専門性、経験年数、学歴、テスト得点、AIへの信頼度は、多重検定の補正後に有意な差を生みませんでした。
なぜ重要か：自分の判断だと思い込む点が最大のリスク
注目すべきは事後の自己評価です。最終提言について、52%が「エージェントより自分の意見に近い」と答え、35%が「ほぼ全面的に自分のもの」と答えました。選んだ内容そのものは85%で正しく思い出せたのに、理由の説明にエージェントの論拠を少なくとも1つ使った人は77%に上り、AIに触れた人は15%にとどまりました。AIの論拠を取り込みながら、出所を意識していない様子がうかがえます。
作業面の効果も示されています。AIなしで分析した11件のうち重大な方法論・コーディング上の欠陥があったのは6件（55%）で、中央値は90分でした。AIありの50件では欠陥は3件（6%）、所要は65分です。ただし、AIなしのグループは自ら使用を避けた少人数で、専門性もやや低いため、差のすべてをAIの効果とは断定できないと研究者自身が述べています。
研究者が懸念するのは、多くのチームが同じモデルを使った場合に、偽の合意が生まれることです。AIの安全性評価のように人間のレビューを独立した検証と位置づけている領域では、そのレビュー自体がAIに引っ張られる可能性があります。なお、最終提言への直接効果は小さく、統計的に有意ではありませんでした。影響が出たのは主に途中の分析判断だった点も押さえておく必要があります。
関連研究も紹介されています。3,132人を対象にした調査では、AIの回答を見ただけで「わからない」と答える人が44%から3%に減りました。ポーランドの大腸内視鏡研究では、AIを日常的に使った経験豊富な医師が、AIなしの検査で前がん病変を見つける率が28.4%から22.4%に下がったとされています。いずれも元記事で紹介された内容で、詳細は各研究の原典で確認するのが確実です。
今後の動き：現場で意識したい3つのポイント
研究者は対策として、エージェントに両側の最善の論拠を示させること、または専門家に先に自分の意見を書かせることを挙げています。どの判断に独立した人間の判断が必要かを組織として決め、そのための時間と資源を確保することも提言です。
EC運営の現場に引きつけると、広告予算の配分、商品ページの訴求軸、価格改定の可否といった判断をAIに相談する場面で同じことが起こり得ます。第一に、AIに聞く前に自分の結論をメモに残します。第二に、AIには「反対の立場の最良の論拠」も出させます。第三に、重要な判断では、採用した理由のうちAI由来のものを明記します。いずれも今日から始められる運用ルールです。
まとめ
Anthropicの研究は、専門家50人がコイントスで決まったAIの立場に86%の確率で従い、その多くを自分の意見だと感じていたことを示しました。AIは作業を速く、正確にする一方で、判断の独立性を静かに弱める可能性があります。AIを使うときは、先に自分の考えを持ち、反対意見も出させる運用が有効です。なお、50人規模の実験である点は、結果を読む際の前提として押さえてください。
参考文献
- The Decoder: Experts adopt AI agent’s random opinions and think they’re their own, Anthropic study finds
- Anthropic: Agents and judgment calls（公式発表）
- Anthropic: 研究論文（PDF）
- The Decoder: AIの回答で「わからない」と言えなくなる研究
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: The Decoder
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
