AIベンチマーク刷新で非公開4割へ｜EC事業者のモデル選定3論点

齋藤竹紘2026年9月6日2026年9月6日AIニュース

Artificial Analysis が2026年9月4日、AIの性能指標を非公開テスト4割の構成に刷新しました。

AIモデルの性能を横並びで比較する代表的な指標、Artificial Analysis Intelligence Index が v4.2 へ更新されました。非公開の held-out テストセットの比重が20パーセントから40パーセントへ倍増し、実務に近い長文書類の読解タスクが新たに加わっています。同じモデルでも、指標が変わるだけで順位と評価が動くという事実が、今回はっきり数字で出ました。AIモデルの選定を外部のスコアだけで決めている事業者にとっては、判断の土台が入れ替わった格好です。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。

Artificial Analysis Intelligence Index v4.2 で何が変わったのか

結論から書くと、変更点は「非公開データの比重を倍にした」「実務に近いタスクを足した」「解けきられた問題を捨てた」の3つです。Artificial Analysis の公表によれば、非公開の held-out テストセットが指標全体の40パーセントを占めるようになりました。v4.1 の20パーセントから倍増で、開発元がベンチマークに最適化して点数を稼ぐ、いわゆるゲーミングを抑える狙いです。

新たに加わったのは、同社内製の AA-Briefcase と、Surge AI が作成した GDP.pdf です。AA-Briefcase は数週間規模のナレッジワーク案件を模した評価で、多数の関連タスクと数千件の入力ファイルを扱わせます。GDP.pdf は10分野100本のPDF、合計4,592ページにまたがる情報を統合させる評価で、専門家が作成した1,275個の判定基準すべてを満たしたときだけ正解とみなす厳しい採点方式です。一方、科学的推論の定番だった GPQA Diamond は、モデル側が解ききってしまったため除外されました。

順位も動きました。首位は Anthropic の Claude Fable 5.1、2位が OpenAI の GPT-6 Astra で、前世代の GPT-5.6 Sol に対して4ポイントの上積みとなります。3位が Meta、以下 SpaceXAI、Moonshot/Kimi、Z.AI、Google と続きます。GDP.pdf 単体では GPT-6 Astra が33.2パーセントで首位、GPT-5.6 Sol が28.2パーセント、Claude Fable 5.1 が26.2パーセントでした。

同じモデルの評価が指標次第で動くという事実

今回の更新でEC事業者が押さえるべき点は、モデルは何も変わっていないのに評価だけが動いた、という一点です。The Decoder は、更新前の指標では GPT-6 Astra が前世代と同点の61にとどまり、Epoch AI が267モデル中1位と評価した結果との落差に疑問の声が出ていたと伝えています。v4.2 では同じモデルが4ポイント上振れしました。

価格の話も切り離せません。Artificial Analysis の GPT-6 Astra 評価によると、Astra の価格は100万トークンあたり入力10ドル・出力50ドルで、GPT-5.6 Sol の4ドル・20ドルから2.5倍に上がっています。出力トークン量は最大努力設定で約10パーセント減りましたが、値上げ幅のほうが大きく、タスクあたり単価は前世代比で75パーセント高いという計算です。スコアが上がったモデルが、そのまま自社にとって安いモデルとは限りません。この構図は、GPT-6 Astra のタスク単価やClaude Fable 5.1 のキャッシュ割引を取り上げたときと同じです。

もうひとつ、評価環境の影響も無視できません。同じモデルでも実行環境やツールの組み方で結果が変わる点は、ハーネスが主役になったという議論やベンチマークとツール選定の関係で繰り返し触れてきたとおりです。商品説明の量産、レビュー要約、問い合わせ一次返信といった実務では、汎用スコアの1位より、自社の作業で安定して通ることのほうが価値を持ちます。

初動として何をやるか

やることは3つです。第一に、自社の代表タスクを20件から30件ほど固定し、社内版のミニ評価セットにしてください。商品説明の生成、規約チェック、問い合わせ返信の下書きなど、実際の業務データを匿名化して使います。外部ベンチマークが更新されるたびに順位を追いかけるより、この固定セットを回すほうが判断が速くなります。

第二に、評価軸をスコアだけにしないことです。今回の Index が示したとおり、性能・トークン量・価格は別々に動きます。1件あたりの実測コストと、やり直しが発生した割合を必ず記録してください。第三に、モデルを切り替えたら旧モデルの出力と並べて読み比べる工程を1回だけ挟むことです。ハルシネーション率は AA-Omniscience で92パーセントから51パーセントへ改善したとされますが、これは評価上の数字であり、自社の商品名や型番で同じ改善が出るかは別問題です。ここは要確認として、必ず手元で検証してください。

まとめ

指標は道具であって答えではありません。非公開データが4割を占めるようになったことで外部スコアの信頼性は上がりましたが、それでも自社業務との一致は保証されません。EC事業者としては、外部ランキングを候補の絞り込みに使い、最終判断は自社タスクでの実測コストと安定性で下すという二段構えが現実的です。

参考文献

※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/

引用元: Artificial Analysis

【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）

齋藤竹紘

株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。

投稿者: 齋藤竹紘

株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。齋藤竹紘のすべての投稿を表示