投稿者 投稿日: カテゴリー AIニュース
AIコーディングエージェントは作業時間を最大10倍過大に見積もることが、新研究で判明しました。
The Decoderが2026年8月30日に報じた研究によると、Claude Code と Codex という代表的なAIコーディングエージェントは、タスクにかかる時間を体系的に過大評価し、しかも自分がすでにどれだけ働いたかも正しく把握できていませんでした。誤差は平均3倍、条件によっては10倍に達します。さらに自己採点は実際のスコアより約20ポイント甘いという結果も出ています。長時間の自動運用をEC業務に組み込もうとしている事業者にとって、監督設計を見直すべき数字です。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。
AIエージェントの時間見積もりは平均3倍から10倍ずれていた
結論から言えば、AIエージェントは「あと何分かかるか」をほぼ当てられません。研究はMATSプログラムの一環として2名の独立研究者がまとめたもので、内容はLessWrongで公開されています。検証材料は ProgramBench という課題集の200タスクと、研究者独自の18ベンチマークです。
手順はシンプルで、着手前に所要時間を予想させ、実際に解かせたあと「どれくらい時間が経ったと思うか」を振り返らせています。その結果、エージェントは一貫して時間を多く見積もりました。ProgramBench では難易度に関係なく、どちらのモデルもおおむね90分前後と答えています。2回目の検証では、Claude が平均3倍、Codex が6倍から10倍ずれました。ずれが最も大きいのは短時間で終わるタスクで、数時間規模の長い作業でようやく予測が現実に近づいたとされています。
同じくらい重要なのが自己評価の甘さです。旧世代のモデルである Opus 4.8 と GPT-5.5 は、自分の成果を平均で20ポイント高く採点しました。あるケースでは両者とも「7割方うまくいった」と報告しましたが、実際のスコアは7パーセントと14.5パーセントでした。うまくいっていない作業を、うまくいったと報告してくる状態です。
もう一点、実務側が見落としがちな指摘があります。挙動はモデルそのものより、それを動かす外側のソフトウェア、いわゆるハーネスに強く左右されるという点です。Claude Code は「終わったと自分が判断するまで」動き続け、稼働時間の中央値は約90分でした。対して Codex はタスクの内容にほぼ関係なく30分前後で手を止めます。同じ言語モデルでも、Claude Code 上では Codex 上の平均2.5倍のステップを踏んでいました。
日本のEC事業者にとっての論点は監督コストの置き場所です
この研究がEC運営に効いてくる理由は、AIエージェントの使いどころが「短い1往復の作業」から「放置して回す長時間の作業」へ移りつつあるからです。商品説明文の一括生成、楽天RMSやAmazonセラーセントラルから落としたCSVの加工、広告レポートの定期集計、レビュー分析といった業務は、いずれも数十分から数時間の連続作業になります。ここで「あと10分で終わります」という自己申告を信じて別の仕事に移ると、実際には1時間走り続けていた、あるいは途中で止まっていたという事態が起きます。
論点は3つあります。第一に、進捗報告を成果物の代わりにしないことです。エージェントが「完了しました」と言った時点で終わりにせず、出力ファイルの行数やエラーログといった外形的な事実で確認する運用にします。自己採点が20ポイント甘いという数字は、報告文だけで検収する運用の危うさを示しています。
第二に、ツールの選定基準に稼働の粘り強さを入れることです。同じモデルでもハーネスによって30分で止まるか90分走り続けるかが変わるのなら、長時間バッチには止まりにくい環境を、短い定型作業には早く切り上げる環境を割り当てたほうが、待ち時間もコストも読みやすくなります。
第三に、時間を測るのはAIではなく仕組み側だという割り切りです。研究では、経過時間を返すツールをエージェントに与えたところ、ほぼ正確に答えられるようになったと報告されています。つまり内省で時間を当てさせるのではなく、タイムスタンプを渡せば解決する問題です。EC現場に置き換えれば、実行ログに開始と終了の時刻を必ず残し、想定時間を超えたら人に通知する仕組みを先に用意しておく、ということになります。
初動アクションは記録と打ち切り基準の整備です
今日から着手できることは限られていますが、効果ははっきりしています。まず、AIに任せている定型業務について、実際の所要時間を1週間分だけ実測して記録します。感覚ではなく実測値が手元にあれば、エージェントの自己申告と突き合わせられるようになります。
次に、打ち切り基準を決めます。想定時間の2倍を超えたら中断して人が確認する、といった単純なルールで構いません。今回の研究が示す誤差幅を踏まえれば、放置時間の上限を先に決めておくことが最も安価な保険になります。
そして検収の型を作ります。件数、必須項目の欠損数、禁止ワードの有無など、機械的に判定できるチェックを1枚のリストにまとめ、エージェントの完了報告とは独立に走らせます。楽天やAmazonの商品ページ更新のように、誤りがそのまま売場に反映される業務ほど、この独立チェックの価値が高くなります。
なお、今回の研究はコーディングエージェントを対象としたもので、EC業務そのものを検証したわけではありません。数字をそのまま自社の業務に当てはめられるかは要確認としつつ、傾向としての示唆を受け取るのが妥当です。
まとめ
AIエージェントは時間の感覚を持たず、その事実にも気づいていません。所要時間は平均3倍から最大10倍ずれ、自己採点は約20ポイント甘くなります。日本のEC事業者がとるべきスタンスは、AIの自己申告を信用しないことではなく、時間と成果を測る仕組みを外側に置くことです。実測、打ち切り基準、独立した検収の3点を先に整えれば、長時間の自動化はむしろ扱いやすくなります。
参考文献
- The Decoder｜AI agents have no sense of time and are not aware of it
- LessWrong｜Your agents are not time aware
- MATS Program 公式サイト
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: The Decoder
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
