投稿者 投稿日: カテゴリー AIニュース
JetBrainsの評価でClaude Fable 5の正答率は44.3%です。
IntelliJ IDEAやKotlinで知られるJetBrainsが、自社の非公開リポジトリを使ったAIモデル評価の中身を公開しました。Claude Fable 5はPythonタスクの正答率44.3%を記録し、前世代のOpus 4.8の28.2%を16ポイント上回っています。ただ、EC事業者にとって参考になるのは数値そのものより、JetBrainsが「品質」「タスクあたりのコスト」「速度」という3つの順位表を別々に持ち、公開ベンチマークの点数を鵜呑みにしていないという評価の設計のほうです。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。
JetBrainsが公開したClaude Fable 5の評価結果
JetBrainsは自社の巨大なモノレポを含む非公開リポジトリでモデルを評価しています。2026年8月13日にClaude by Anthropicが公開したインタビューによると、Agent Systems CTOのVladislav Tankovは、公開ベンチマークで高得点を取るように調整されたモデルが実務では失速する例があるため、自社リポジトリでの検証を重視していると語っています。JetBrainsはIntelliJ IDEAやPyCharm、プログラミング言語のKotlinを提供し、アクティブユーザーは1,250万人超、Fortune Global 100のうち88社が利用しています。
数値面では、Claude Fable 5のPython正答率が44.3%、Opus 4.8が28.2%でした。両者を直接比較すると、Fable 5はOpus 4.8が解けなかったPythonタスクを18件解き、落としたのは2件だけだったとしています。さらに解決までの手数はOpus 4.8比で約22%少なく、試行錯誤の回数そのものが減っていました。Javaのタスクでは、Opus 4.8が外部リソースを繰り返し取りに行こうとしたのに対し、Fable 5は目の前のコードだけで処理を進めたという違いも報告されています。
コストの見方も特徴的です。Claude Fable 5はAnthropicの公式ページで入力100万トークンあたり10ドル、出力100万トークンあたり50ドルと案内されており、トークン単価は決して安くありません。それでもJetBrainsは、複雑で長時間かかる作業では「タスクあたりのコスト」がむしろ下がる場合があると述べています。単価の高いモデルが、結果的に安く済むことがあるという指摘です。
EC事業者が見るべきAIモデル評価3指標
EC事業者がAIツールを選ぶときも、見るべき指標はJetBrainsと同じ3つに整理できます。
第一に、自社データでの正答率です。ベンダーが示す汎用ベンチマークではなく、自店舗の商品CSV、レビュー、問い合わせメールといった実データで20件から30件の検証セットを作り、同じ課題を各モデルに解かせて正答率を数えます。楽天市場の商品名を規定文字数内に収めながら訴求を落とさない、Amazonの返品理由を分類する、といった自社固有の課題ほど、公開ベンチマークとの乖離が出ます。
第二に、タスクあたりのコストです。トークン単価だけを比べると安いモデルが有利に見えますが、安いモデルが3回やり直して人手の修正が入るなら、実質コストは高くなります。商品説明文1本、問い合わせ返信1件といった単位でコストを出し直すと順位が入れ替わることは珍しくありません。プロンプトキャッシュの入力90%割引など、単価以外の割引条件も同じ土俵に乗せて計算します。この考え方はClaudeのコストを下げる4つのレバーでも整理しています。
第三に、データの扱いです。Claude Fable 5の利用には安全性モニタリングのための30日間のデータ保持が伴うとAnthropicは明記しています。Tankovは「フロンティアの知性にアクセスできることへの公平なトレードオフだ」と述べていますが、これは各社が自社の基準で判断すべき論点です。顧客の氏名や住所を含むデータを扱う場合、どのモデルにどこまで渡すかを社内規程として先に決めておく必要があります。
今週からできる初動アクション
まず、自社の定型業務から検証セットを作ります。過去の商品登録や問い合わせ対応から20件を抜き出し、正解を人手で作っておけば、モデルが入れ替わるたびに同じ物差しで測れます。JetBrainsが評価パイプラインを常設しているのは、モデルの世代交代が速いためです。
次に、比較の記録を残します。品質、タスク単価、応答速度の3列を用意し、モデル名と日付を添えて更新していきます。1つの総合順位に丸めないことがポイントで、速度が要るチャット応答と、品質が要る商品説明文とでは選ぶモデルが変わります。モデルの使い分けについてはClaude Opus 5とFable 5の使い分けとコストも参考になります。
最後に、評価の道具そのものを特定ベンダーに固定しないことです。検証セットと採点基準を自社側に持っておけば、モデルを乗り換えても資産が残ります。この論点はAIベンチマークとハーネスのロックインで詳しく扱っています。
まとめ
JetBrainsの事例が示すのは、AIモデルは公開スコアではなく自社データで測るものだということです。Python正答率44.3%という数字より、品質・タスク単価・速度を分けて持ち、モデル世代が変わるたびに測り直す仕組みのほうが再現性があります。EC事業者も、まず20件の検証セットを作るところから始めるのが現実的です。
参考文献
- Claude by Anthropic – Securing the frontier: How JetBrains evaluates and deploys Claude Fable 5
- Anthropic – Claude Fable（価格・セーフガード・データ保持）
- Anthropic – Claude Fable 5 and Claude Mythos 5
- Anthropic – Redeploying Claude Fable 5
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: Claude by Anthropic
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
