投稿者 投稿日: カテゴリー AIニュース
Qwen3.8 Maxのハルシネーション率が23%から40%へ上がったと報告されました。
Artificial Analysisの計測で、AlibabaのQwen3.8 Maxは総合知能指標で56点を記録し、Claude Opus 4.8と並びました。一方で知識質問の扱いは後退し、分からないと答えずに推測する割合が増えています。安いモデルへ商品データ処理を寄せたいEC事業者にとって、ベンチマークの総合点だけを見て決めるのは危ういという材料が1つ増えました。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。
総合点は上がり、知識の正直さは下がった
The Decoderが伝えたArtificial Analysisの計測によると、Qwen3.8 Maxの総合知能指標は56点で、前世代のQwen3.7 Max（46点）から10点上がりました。この水準はClaude Opus 4.8と同等で、GLM-5.2（51点）を上回りますが、Kimi K3（57点）には届いていません。しかもKimi K3のほうが25%安いと報告されています。
業務タスクを測るGDPval-AAでは、Qwen3.8 Maxが468 Elo上昇して1,739となり、Kimi K3（1,685）を抜きました。これより上はClaude Opus 5（1,852）だけです。ただし到達の仕方に注意が要ります。1タスクあたりのステップ数が14から64へ増え、各ステップで会話履歴を丸ごと送り直す測定方式のため、入力トークンは15倍に膨らんでいます。
その結果、トークン単価が下がったにもかかわらず費用対効果は悪化しました。入力は100万トークンあたり2.50米ドルから2.00米ドルへ、出力は7.50米ドルから6.00米ドルへ、キャッシュヒットは0.50米ドルから0.25米ドルへ下がっています。それでも総合知能指標の1タスクあたり費用は1.14米ドルとなり、Qwen3.7 Maxの0.53米ドルの2倍を超えました。同じ指標でKimi K3は0.86米ドル、GLM-5.2は0.57米ドルです。
品質面の後退も報告されています。長文から情報を拾い上げるAA-LCRが2点低下し、知識質問に正しく答えるか正直に「分からない」と言えるかを見るAA-Omniscienceは10点下がりました。正答率は約31%で横ばいですが、ハルシネーション率は23%から40%へ上がっています。答えを知らないときに黙るのではなく、推測で埋める傾向が強まったという読み方になります。
商品データ処理でどこが痛むか
EC運営でこの数字が効いてくるのは、商品マスタの整形や商品説明文の一次生成のように、大量の行を安いモデルへ流す工程です。ハルシネーション率が上がるということは、原産地・素材の混率・容量・保証期間・受賞歴といった「与えていない属性」を、AIがそれらしく埋めてくる頻度が増えるという意味になります。文章としては自然なので、目視だけでは見落とします。
痛みの大きさはジャンルで変わります。食品ならアレルゲンと原産地、化粧品やサプリなら効能に読める表現、家電なら規格と保証年数、アパレルなら素材の混率とサイズ表記が事故になりやすい箇所です。楽天RMSの商品説明文やAmazonの箇条書きに流し込んだあとで気づくと、該当ページの一括修正とモール側の表示反映を待つ時間が発生します。検証工程の作り方はハルシネーション率と誤記載リスクの見極め方で手順に落としています。
コスト面でも読み替えが必要です。トークン単価が下がってもステップ数が増えれば1タスクの総額は上がります。単価表だけを見て乗り換えると、請求額が想定と合わない事態になりかねません。タスク単位の実測で比べる考え方はタスク別ルーティングでAPI費用を抑える設計と同じです。
EC事業者が持っておきたい3つの選定視点
第一に、総合点ではなく用途に対応する指標を見ることです。商品情報のように事実が絡む処理では、総合知能指標よりもハルシネーション率と、分からないと言えるかを測る指標のほうが業務のリスクに直結します。
第二に、費用は1タスクあたりで比べることです。100万トークンあたりの単価ではなく、自社の代表的な処理を1件流したときの実額で並べ直します。手元の商品100件で試して単価換算するだけでも、判断の材料としては十分に働きます。
第三に、工程で役割を分けることです。安いモデルは下書きと分類に使い、事実が確定する文章と最終チェックは上位モデルと人の目に回す。この分担にしておけば、モデル側の指標が世代ごとに揺れても、公開される文章の品質は保てます。
まとめ
総合点が上がったモデルが、自社の用途でも安全になったとは限りません。今回のQwen3.8 Maxは、その差がハルシネーション率と1タスク費用にはっきり出た事例でした。商品データを扱う工程では、指標の選び方と費用の測り方を先に決めてからモデルを選ぶ順番が確実です。
参考文献
- The Decoder・Qwen3.8 Max catches Claude Opus 4.8 but Kimi K3 still scores higher for 25 percent less
- Artificial Analysis・Qwen3.8 Max モデルページ
- The Decoder・Alibaba’s open-weight Qwen3.8-Max takes on long-horizon AI tasks with 2.4 trillion parameters
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: The Decoder
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
