投稿者 投稿日: カテゴリー ChatGPT
Agents’ Last Examとは、AIエージェントの実務遂行力を測る評価試験のことです。
2026年7月、OpenAIはGPT-5.6 Solが「Agents’ Last Exam」で53.6というそれまでで最も高い数字を記録したと発表しました。ところが、評価を運営するSnorkel AIのリーダーボードで同じ記録を見ると、タスクを最後までやり切った割合を示す合格率は28.6%前後でした。53.6は部分点を含めた平均点であり、「半分以上の仕事を完遂できる」という意味ではありません。この違いを知らずに数字だけで受注処理や商品登録を任せるエージェントを選ぶと、導入後に「思ったほど仕事が終わらない」というずれが起きます。
本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）の現場知見にもとづいて解説します。Agents’ Last Examの仕組みと、2026年10月に公開された最新版v1.1の順位を整理したうえで、EC事業者がAIエージェントを選ぶときに見るべき5つの指標と、ChatGPT・Claude・Geminiで使えるプロンプト4本を紹介します。
Agents’ Last Examの数字はどう読めばよいのか
Agents’ Last Examの数字を読むときの出発点は、「スコア」と「合格率」が別物だと押さえることです。Snorkel AIのリーダーボードによると、合格率はエージェントがタスクを完全にやり遂げた割合、スコアは部分点を含めた全タスクの平均点と定義されています。どちらも、AIに採点させるのではなく、隠された正解データと機械的に照合する採点器で計算されます。
この評価は、長時間かかり、経済的な価値があり、結果を検証できる専門職の業務フローを、AIエージェントがどこまでこなせるかを測るものです。対象は物理的な作業を伴わない職種で、米国の職業分類（O*NET、SOC 2018）を参照して業種が整理されています。最新版のv1.1は2026年10月26日に公開され、公開タスクは122件、13の業種グループにまたがる55の細分業種で構成されています。Snorkel AIの紹介記事では、300人以上の業界専門家が作成と検証に関わり、タスク数を将来的に5,000件まで増やす計画も示されています。
OpenAIがGPT-5.6の発表で示した53.6は、このスコアのほうでした。発表では、AnthropicのClaude Fable 5を13.1ポイント上回ったと説明されています。一方、同じ時期のリーダーボードでは、GPT-5.6 Solの合格率は28.6%と表示されていました（同じページ内の別の表では30.6%とされており、数値に揺れがあります）。つまり、平均すると課題の半分以上の点数は取れているものの、最初から最後まで完全に終えられたのは3割前後だった、という読み方になります。
EC業務に置き換えると、この差は大きな意味を持ちます。受注データの取り込み、在庫数の更新、出荷指示の作成という3段階の業務で、2段階までは正しくできても、最後の出荷指示で数量を間違えれば、その業務は「完了」とはいえません。部分点が高いことは、人がチェックして仕上げる前提なら役に立ちますが、無人で任せる業務の判断材料にはなりにくいのです。
最新版v1.1の順位から見えること
2026年10月26日公開のv1.1では、順位の付け方が合格率の順になっています。上位を見ると、1位はGoogleのGemini 4 Carbonで合格率45.9%・スコア77.4%、2位タイがKimi 3.1 ProとAnthropicのOpus 5.5でいずれも合格率43.4%（スコアはそれぞれ74.4%と71.6%）、4位がOpenAIのGPT-6 Astraで合格率42.6%・スコア73.1%でした。GPT-5.6 Solの53.6が話題になった7月から3か月で、上位モデルの顔ぶれは大きく入れ替わっています。
順位以上に注目したいのは、実行時間と出力トークン量の差です。リーダーボードに記載された数字では、Opus 5.5は実行時間が177時間11分、出力トークンが2,150万だったのに対し、GPT-6 Astraは80時間12分、510万トークンでした。合格率の差は1ポイントに満たない一方で、使ったトークン量には4倍以上の開きがあります。API料金は出力トークン量に比例して増えるため、同じ仕事量をこなすためのコストは、合格率の順位とは別の軸で比べる必要があります。
もう1つの注意点は、エージェントを動かす実行環境（ハーネス）が揃っていないことです。v1.1の上位には、Claude Code、Codex、Kimi Code、ALE-Clawといった異なるハーネスでの結果が並んでいます。同じモデルでも、どのツールの上で動かすかで成績は変わりうるため、自社で使う予定のツールと同じ組み合わせの記録を優先して見るのが現実的です。
採点の方法にも、EC事業者が学べる点があります。Agents’ Last Examは、AIに出来栄えを判定させるのではなく、隠された正解データと照合する採点器で合否を決めています。EC業務でいえば、在庫更新用のCSVが正解のCSVと1行ずつ一致しているか、出荷指示書の数量と配送先が受注データと合っているか、といった機械的な照合にあたります。こうした照合は、AIの判定より結果がぶれにくく、何度測っても同じ答えになります。自社でエージェントを評価するときも、照合できる部分はできるだけ機械的に判定し、人の目視は文章の自然さなど照合できない部分に絞ると、評価の信頼性が上がります。
そして、ECに直結する業種が含まれていない点も押さえておきます。v1.1の業種構成は、ビジネス・金融が19タスク、コンピューター・数学が19タスク、健康・医療が19タスク、エンジニアリングが16タスクといった内訳で、小売、EC、顧客対応といった分類は見当たりません。Agents’ Last Examの上位は「専門職の長時間業務に強いモデル」の目安にはなりますが、楽天RMSでの商品登録やAmazonの出品管理に強いかどうかまでは示していません。
ECのAIエージェント選定で見るべき5つの指標
EC事業者がAIエージェントを選ぶときは、ベンチマークの順位ではなく、次の5つの指標で自社業務に当てはめて判断するのが安全です。
1つ目は合格率、つまり業務を最後まで完遂できた割合です。無人で任せる業務ほど、この数字を重視します。たとえば夜間に自動で回す在庫連携や、定時に送る出荷指示の作成は、途中で止まっても朝まで誰も気づかないため、完遂できるかどうかがすべてです。
2つ目はスコアと合格率の差で、差が大きいモデルは「途中までは得意だが仕上げで崩れる」傾向があると読めます。v1.1の上位では、上位10モデルのスコアと合格率の差がおおむね28から32ポイントの範囲にありました。人が最終確認する業務、たとえば商品説明文の下書きや、問い合わせ返信の案づくりなら、スコアの高さを生かせます。
3つ目は1件あたりのトークン量と時間で、これがそのままAPI費用と処理待ち時間になります。お買い物マラソンのように注文が集中する時期は、1件の処理に何分かかるかが、出荷の締め時間に間に合うかどうかを左右します。
4つ目は実行環境の一致で、自社で使うツール上での成績かどうかを確認します。社内でClaude Codeを使っているならClaude Code上の記録、Codexを使っているならCodex上の記録を優先して見ます。5つ目は業務の近さで、ベンチマークの業種と、自社が任せたい業務がどれだけ似ているかを見ます。ビジネス・金融の業務は、売上集計や請求処理といったECのバックオフィス業務に比較的近いと考えられますが、モール固有の操作は別物と考えておくのが無難です。
このうち、公開ベンチマークで確認できるのは1つ目から4つ目の一部までです。5つ目と、自社業務での1つ目から3つ目は、自社のデータで試して初めてわかります。そこで、次のプロンプト4本を使って、自社業務版の「小さなAgents’ Last Exam」を作る手順を紹介します。いずれもChatGPT、Claude、Geminiのどれでもそのまま使えます。
まず、新しいモデルの発表やベンチマーク記事を読んだときに、出てくる数字がどの種類のものかを整理します。発表資料は、都合のよい指標を前面に出すことが多いため、数字の正体を確かめる習慣をつけておくと判断を誤りにくくなります。
プロンプト1：ベンチマーク数字の読み解き
あなたはAI導入を検討しているEC事業者の参謀です。
以下は、あるAIモデルの発表資料やニュース記事の抜粋です。
出てくる数字を、意思決定に使えるように分類してください。
抜粋：
{発表資料や記事の該当部分を貼り付け}
分類のルール：
- 合格率（完遂率）か、部分点を含むスコアか、それ以外か
- 誰が測った数字か（開発元、ベンチマーク運営者、第三者）
- どの実行環境・設定での数字か
- 実行時間、トークン量、費用の記載があるか
出力形式：
1. 数字ごとの分類表（文章で列挙）
2. EC業務の判断に使える数字と、使えない数字
3. 追加で確認すべきこと
次に、自社の業務を「完遂」と「部分達成」に分けて採点できる基準を作ります。Agents’ Last Examと同じく、正解データと照合して機械的に判定できる部分を増やすほど、採点のぶれが減ります。
プロンプト2：自社業務の完遂判定ルール
あなたはEC企業の業務設計担当です。
以下の業務をAIエージェントに任せる前提で、採点ルールを作ってください。
業務：{例：楽天RMSの在庫数更新と出荷指示の作成}
入力データ：{例：受注CSV、在庫CSV}
期待する成果物：{例：在庫更新用CSV、出荷指示書}
ルールに含めること：
- 「完遂」と判定する条件（すべて満たす必要がある項目）
- 部分点の配点（工程ごとに何点か）
- 正解データと機械的に照合できる項目と、人の確認が必要な項目
- 一発で不合格にする重大ミス（例：数量の誤り、他店舗の注文の混入）
出力形式：完遂条件、配点表（文章で）、重大ミスの一覧
3つ目のプロンプトでは、評価用の課題を作ります。売れ筋だけでなく、イレギュラーな注文や在庫切れの商品など、現場で実際に起きる難しいケースを混ぜるのがポイントです。直近の支援案件で観測したのは、通常の注文だけで試したときは完遂率が高かったのに、同梱指定やギフト包装の注文を混ぜた途端に完遂率が大きく下がったケースでした。
プロンプト3：評価用課題セットの作成
あなたはEC運営の品質管理担当です。
AIエージェントの評価に使う課題セットを20件作ってください。
業務：{業務名}
店舗の特徴：{取扱商品、出店モール、1日の注文数の目安}
条件：
- 通常ケースを12件、難しいケースを8件
- 難しいケースの例：同梱指定、ギフト包装、在庫切れ、住所の表記ゆれ、予約商品
- 各課題に、正解となる成果物の要点を添える
- 実在の顧客情報は使わず、架空のデータで作る
出力形式：課題番号、ケースの種類、入力内容、正解の要点
最後に、候補ごとの費用を見積もります。v1.1のリーダーボードで見たように、合格率が近くてもトークン量には数倍の差が出ることがあります。
プロンプト4：エージェント運用コストの試算
以下の条件で、AIエージェントを業務に使った場合の月間コストを試算してください。
条件：
- 対象業務：{業務名}
- 月間の処理件数：{件数}
- 候補モデルごとの、テストで計測した1件あたりの入力・出力トークン量：{数値}
- 各モデルのAPI単価（100万トークンあたり）：{入力単価、出力単価}
- テストでの完遂率：{モデルごとの%}
- 完遂しなかった場合に人が手直しする時間と時給：{分、円}
出力形式：
1. モデルごとの月間API費用
2. 手直しの人件費を含めた総コスト
3. 総コストが最も低いモデルと、その条件が崩れるケース
評価全体の進め方は、本日公開したAIベンチマークを鵜呑みにしないモデル自社検証の7手順でも詳しく解説しています。モデル同士の特徴を先に把握したい場合は、Gemini 4 Argon・Opus 5.5・GPT-6 Astraの比較記事も参考になります。
ありがちな失敗と回避策
ベンチマークを手がかりにエージェントを選ぶときの失敗は、3つのパターンに集約されます。
1つ目は、スコアを合格率と取り違えることです。53.6という数字を見て「半分以上の仕事を任せられる」と判断し、受注処理を無人で回し始めたものの、実際に最後まで完了したのは3割程度だった、というずれがこれに当たります。発表資料の数字を見たら、プロンプト1で「完遂率か、部分点込みのスコアか」を最初に確認してください。
2つ目は、順位が入れ替わるたびに乗り換えることです。Agents’ Last Examでは、7月に首位だったモデルが、10月のv1.1では上位10位に名前がない状態になっています。新しい版が出るたびにエージェントを替えていては、業務フローやプロンプトの調整が追いつきません。乗り換えは、自社の課題セットで完遂率が一定以上改善した場合に限る、といったルールを決めておくと判断がぶれません。
3つ目は、トークン量を見ずに導入することです。合格率がわずかに高いモデルでも、出力トークンが数倍なら月間の費用も数倍になりえます。楽天/Amazonの両方を回している店舗で観測されたのは、処理件数が多い業務ほど、合格率の小さな差よりもトークン単価と量の差のほうが損益に響くという傾向でした。プロンプト4で、手直しの人件費を含めた総コストで比べるのが確実です。
KPI設計と費用・工数の目安
自社でAIエージェントを評価するときのKPIは、「完遂率」「重大ミスの件数」「1件あたりの総コスト」の3つで十分です。完遂率は、プロンプト2で決めた完遂条件をすべて満たした課題の割合です。無人で任せる業務なら、20件の課題で重大ミスがゼロであることを最低条件にし、完遂率は業務の性質に応じて目標を決めます。
重大ミスの件数は、完遂率とは別に数えておくのがポイントです。完遂率が9割を超えていても、残りの1割で他の顧客の注文を混ぜる、数量を桁違いで入力するといった重大ミスが起きるなら、無人運用には向きません。逆に、完遂率がそこまで高くなくても、失敗のほとんどが「途中で止まって人に引き継ぐ」形なら、人の確認を挟む前提で十分に使えます。失敗の中身まで記録しておくと、どの業務をどこまで任せるかの線引きがしやすくなります。
工数の目安は、課題セットと採点ルールの作成に半日、候補3モデルでのテスト実行と採点に1日程度です。課題セットは一度作れば、新しいモデルやv1.1のような新版が出るたびに使い回せます。現場感覚では、2回目以降の評価は初回の3分の1程度の時間で終わるケースが多く見られます。
費用面では、評価のためのAPI利用料は、課題20件・候補3モデルであれば、数百円から数千円程度に収まることが多いはずです（モデルの単価と出力量によって大きく変わるため、プロンプト4で事前に試算してください）。個人向けの有料プランで試す場合は、ChatGPT Plus、Claude Proがいずれも月20米ドルからです（2026年11月時点の料金は各社公式ページで要確認）。
今後の展望：「業種別のエージェント評価」がECにも必要になる
今後、AIエージェントの評価は、汎用的な順位表から、業種別・業務別の評価へと細分化していくと考えています。Agents’ Last Examは、O*NETの職業分類にもとづいて55の細分業種をカバーしていますが、小売やECの業務は現時点で含まれていません。EC事業者がエージェントに任せたい業務は、受注処理、在庫連携、商品登録、問い合わせ対応と、モールごとの管理画面やCSV形式に強く依存しており、汎用の評価では測りにくい領域です。
だからこそ、自社の課題セットを持っている事業者は、エージェントの導入判断で優位に立てます。新しいモデルが出た日に、自社の20件で完遂率とコストを測り、乗り換えるかどうかを1日で決められるからです。モールの仕様変更やセール時の特殊な注文形式など、現場の事情を反映した課題を少しずつ足していけば、その課題セット自体が社内のノウハウになります。
評価の数字が「誰によって、どの条件で」測られたかを確認する重要性も、今後さらに高まります。Agents’ Last Examでも、GPT-5.6 Solの53.6は開発元であるOpenAIが発表した数字で、リーダーボード上の合格率の表示には揺れがありました。新しいモデルが出るたびに、開発元の発表、評価の運営者、第三者の検証と、立場の異なる数字が並びます。どれか1つを信じるのではなく、自社の課題セットで再現できるかどうかを最終的な判断基準にすることが、遠回りに見えて最も確実な方法です。
AIエージェントの業務評価については、ほかにもGDPxで業務評価の上限が12%にとどまった調査の解説のように、複数の評価が出てきています。1つの順位表に頼らず、複数の評価を「どの数字を、誰が、どの条件で測ったか」で読み比べる姿勢が、2026年以降のエージェント選びの基本になるはずです。
よくある質問
Agents’ Last Examとは何ですか？
Agents’ Last Examとは、AIエージェントが長時間かかる専門職の業務をどこまで遂行できるかを測る評価試験のことです。Snorkel AIが運営しており、最新版のv1.1は2026年10月公開で、122件の公開タスクと55の細分業種で構成されています。
GPT-5.6 Solの53.6は何を意味していますか？
53.6とは、部分点を含めた全タスクの平均点のことです。OpenAIが2026年7月の発表で示した数字で、タスクを完全にやり遂げた割合を示す合格率は、当時のリーダーボードで28.6%前後と表示されていました。
スコアと合格率はどちらを重視すべきですか？
無人で任せる業務なら合格率を重視すべきです。最後まで完遂できなければ業務が終わらないからです。人が最終確認して仕上げる業務であれば、部分点を含むスコアが高いモデルも十分に役立ちます。
最新版v1.1で首位のモデルを選べば間違いありませんか？
いいえ、そうとは限りません。v1.1には小売やECの業種が含まれておらず、実行環境やトークン量も揃っていないためです。候補を絞る目安として使い、最終判断は自社の課題セットで完遂率とコストを測って行ってください。
自社で評価するには何件の課題が必要ですか？
20件程度が目安です。通常ケースを12件、同梱指定や在庫切れなどの難しいケースを8件ほど混ぜると、モデルごとの差が見えやすくなります。課題は架空のデータで作り、実在の顧客情報は使わないでください。
トークン量が多いモデルは避けるべきですか？
いいえ、一概には避けるべきではありません。トークン量が多くても完遂率が高く、人の手直しが減るなら総コストは下がることがあるからです。API費用と手直しの人件費を合計した1件あたりの総コストで比べるのが公平です。
評価にはエンジニアが必要ですか？
課題セットと採点ルールの作成には、エンジニアは必要ありません。業務を理解している店舗運営の担当者が中心になるべき作業だからです。エージェントを実際に動かしてテストする段階では、APIや自動化ツールに詳しい担当者か外部の支援があると進めやすくなります。
まとめ
Agents’ Last Examの53.6は、部分点込みのスコアであり、合格率ではありません。2026年10月のv1.1では順位の基準が合格率になり、上位モデルの合格率は40%台、トークン量にはモデル間で4倍以上の差がありました。EC事業者がAIエージェントを選ぶときは、合格率、スコアとの差、トークン量と時間、実行環境、業務の近さの5指標で読み解き、最終判断は自社の課題セットで行うのが確実です。まずは任せたい業務を1つ決め、20件の課題と完遂条件を作るところから始めてみてください。
参考文献
- Snorkel AI「Agents’ Last Exam Leaderboard」
- Snorkel AI「Agents’ Last Exam: Can AI agents actually do real jobs?」
- OpenAI「GPT-5.6」
著者：齋藤竹紘（株式会社オルセル 編集長／5,000社以上のEC支援実績／書籍3冊）
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
