投稿者 投稿日: カテゴリー AIニュース
プリンストン大などの検証で、最新AIエージェントが独力で書いた研究論文2本が原著者の査読でいずれも却下されました。
AIが自分でAI研究を進める、という話は本当なのか。プリンストン大学とUK AI Security Instituteの共同チームが2026年7月30日に公開した検証プロジェクトCRUXは、その主張に真正面から反証を突きつけました。6日間と3,000ドルのAPIクレジットを与えられたAIエージェントが書き上げた論文2本は、同じ研究テーマに数か月を費やした人間の原著者から「Reject」「Strong Reject」の判定を受けています。注目すべきは、この検証が特定した5つの失敗モードが、EC事業者がAIエージェントに長時間タスクを任せるときにそのまま再現される種類のものだという点です。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。
何が起きたか：未公開のNeurIPS論文を使った「シャドー評価」
結論から言えば、AIエージェントは研究のエンジニアリング作業を完遂したにもかかわらず、研究そのものの成果は出せませんでした。
検証手法は「シャドー評価（Shadow Evaluation）」と名付けられています。まだ公開されていないNeurIPS 2026投稿論文の中心的な研究課題だけをエージェントに与え、同じ問いに数か月取り組んだ原著者が査読者として結果を採点する、という設計です。論文が未公開なので、エージェントは学習データに答えを持っておらず、既知の知識をなぞって高得点を取ることができません。対象となったのは、言語モデルの人格特性を重みを通じて操作する手法と、表形式の予測モデルが学習時と大きく異なるデータに直面したことを検知するTabPFN関連の手法の2本です。
メインの実験では、Claude Opus 4.8を最も高い推論設定で動かし、6日間の実行時間、3,000ドル分のAPIクレジット、GPU予算、仮想マシンとオープンウェブへのフルアクセスを与えています。エージェントはサブエージェントを起動し、長時間走るGPUジョブを投げ、終了したら自動的に叩き起こされて結果を回収する、という構成で動きました。ロバストネスチェックとしてGPT-5.6 SolとOpenAIのCodexスキャフォールドでも同じ実験が繰り返され、ほぼ同じ失敗が再現されています。
エンジニアリング面の実行力は高く評価されています。文献調査、GPUコードのデバッグ、数百本の実験とロバストネス検証、LaTeXでの論文組版まで、人間の介入はわずか3回（スキャフォールドのバグ修正、締切延長、可読性のための書き直し指示）で済みました。それでも査読結果は覆りませんでした。原著者からは「根拠の薄いデータと実験設計」「読めない文章」「新規の貢献がない」と指摘され、ある査読者は推論を「例示による証明という誤謬」「きわめて非科学的」と評しています。
EC事業者にとっての論点：5つの失敗モードは現場でも起きる
論文が挙げる5つの失敗モードは、研究に固有の話ではありません。長時間・目的が広いタスクをAIに任せる場面で共通して出る症状です。EC運営に置き換えると、それぞれ次のように読めます。
第一に、成果の水準に対する判断力の欠如です。エージェントはもっともらしい仮説を立てるものの、小さく恣意的に選んだデータや合成データを根拠に採否を決めてしまいました。商品ページ改善で「サンプル10商品でCVRが上がったので全商品に展開してよい」と判断するのと同じ構図です。
第二に、行き詰まったときの発想の乏しさです。最初の仮説が否定されると、エージェントは新しい方向を探さず、既存の主張を小さく限定する方向に逃げました。しかも内部のAIレビューは15回の改稿を通じて一度もAcceptを返していないのに、中心的な批判には最後まで手をつけていません。AIに壁打ちさせても、指摘の受け止め方まではAIに任せられないという示唆です。
第三に、後戻りの下手さです。両方の実行で、最も野心的な目標は最初の10時間以内に放棄されていました。人格特性の実験では、探索フェーズに36〜48時間を見込んでいたのに、わずか5時間で切り上げて方針を固定しています。この「早期に固まってしまう」性質は、複数エージェントを並列で走らせたときの挙動を扱ったAnthropicのマルチエージェント検証やClaude Codeの並列処理設計を考えるうえでも押さえておきたい点です。
第四に、リソース認識の甘さです。Claude Opus 4.8の実行は3,000ドルの予算のうち1,130ドルしか使わずに終了し、締切の7時間前に「完了」を宣言しました。直前に自分のレビューがまたRejectを返していたにもかかわらず、です。逆にGPT-5.6 Solは2日強で3,000ドルを使い切り、実験規模が足りなくなりました。トークン消費や電力コストの見積もりが甘いままエージェントを走らせるリスクは、AIエージェントの消費電力に関する検証でも指摘されている通りです。
第五に、指示ドリフトです。長いコンテキストの中で明示された指示が徐々に忘れられ、両論文とも規定の分量制限を超過しました。NeurIPSであれば内容以前にデスクリジェクトです。片方の論文は本文中の図が0枚で、人間が書いた元の論文の15枚と対照的でした。楽天市場の商品名の文字数上限やAmazonのタイトル規定のように、守らなければ機械的に弾かれるルールをAIに任せきりにするのは危険だとわかります。この現象への対処として長時間タスクのコンテキスト管理を扱ったのがコンテキスト圧縮と長時間タスクの記事です。
AIラボの主張との食い違いと、初動で押さえること
この結果は、AI各社の発信と正面からぶつかります。Anthropicは2026年6月にWhen AI Builds Itselfと題した文書で自社の研究加速に関する内部データを公開し、OpenAIはGPT-5.6 Solが小型モデルLunaの事後学習を助けて研究者の数週間を節約したと説明しました。ただし論文の著者らは、その貢献が81ページに及ぶシステムカードに一切記載されていない点を指摘しています。
過去の「AIが査読を通過した」という話も、額面通りには受け取れません。The Decoderが整理しているとおり、Sakana AIのThe AI Scientist-v2は2025年のICLRワークショップに3本を投稿し、1本が平均6.33点というぎりぎりの評価で採択されましたが、引用の誤りが見つかって撤回されています。ワークショップの採択率は60〜70%で、本会議の20〜30%とは水準が違うという前提も忘れられがちです。
EC事業者として今週から取れる初動は3つに絞れます。まず、AIに任せる自動化タスクを「検証可能な狭いタスク」と「判断を伴う広いタスク」に分けることです。この検証でもエンジニアリング＝検証可能な作業は完遂されており、失敗したのは判断が要る部分でした。商品説明の一括生成やレビューの分類は前者、品揃え戦略や値付け方針は後者にあたります。次に、長時間タスクには必ず途中チェックポイントを置き、コストと進捗を人間が見る運用にすることです。予算の3分の1で勝手に終了する挙動も、2日で使い切る挙動も、放置していると気づけません。最後に、文字数制限や禁止表現のような機械的なルールは、AIの出力を信じずスクリプトや管理画面側で必ず検査することです。指示ドリフトは長時間になるほど確実に起きます。
なお本検証は論文2本のみを対象としており、査読者は自分の研究課題を知った状態で評価しているため、盲検ではありません。著者ら自身がこの限界を明示しています。ただし結果の弱さが明確だったため、全体像は変わらないだろうとも述べています。専門家レビュー、ログ、エージェントのリポジトリはすべて公開されており、第三者が自分で判断できる形になっています。
まとめ
AIエージェントは研究のエンジニアリングを人手なしでこなす一方、何を問うか・どこでやめるか・いつ方針を変えるかという判断では明確に力不足でした。EC運営でも同じ線引きが有効です。作業は任せ、判断と検査は人間が握る。予算と時間の使い方を可視化し、機械的なルールは機械で検査する。この3点を守れば、AIエージェントの導入は現時点でも十分に投資対効果が合います。
参考文献
- CRUX – Can AI agents conduct open-ended AI research? Early evidence from two case studies
- arXiv – 論文PDF（Kirgis et al., 2026）
- THE DECODER – Study contradicts Anthropic and OpenAI claims that autonomous AI research is within reach
- Anthropic – When AI Builds Itself
- OpenAI – GPT-5.6 System Card
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: THE DECODER
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
