投稿者 投稿日: カテゴリー AIニュース
知識蒸留のGPUメモリを最大15.6分の1に減らす手法が公開されました。
AIモデル圧縮を手がける Multiverse Computing が2026年8月10日、大規模言語モデルの知識蒸留を大幅に安くする2つの技術改良を Hugging Face の技術ブログで公開しました。これまで数百枚のGPUと入念な並列化を前提としていた工程が、GPU1枚で32,768トークンの長い文脈まで扱えるところまで下がっています。小型AIモデルを自社データで育てるという選択肢が、研究室の話から見積書に載る話へ一歩近づいた発表です。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。
何が起きたか：教師モデルをメモリから追い出す2つの改良
知識蒸留とは、大きな教師モデルの出力を小さな生徒モデルに真似させ、性能を保ったまま軽くする学習手法のことです。今回公開されたのは、この蒸留工程そのものを安くする2つのシステム改良でした。
1つ目はオフライン蒸留です。従来は教師モデルと生徒モデルを同時にGPUへ載せ、学習ステップのたびに教師を計算し直していました。今回の手法は、教師の出力のうち確率が高い上位100トークンぶんだけを一度だけ計算してキャッシュし、以降は生徒をそのキャッシュに合わせて学習させます。教師がメモリに居座らなくなる結果、単一のH200 GPUで1イテレーションあたり約29パーセント高速化し、スループットは最大41パーセント向上したと報告されています。
2つ目が融合チャンク化KL損失です。損失計算は本来、語彙数×系列長という巨大な行列を丸ごと作ってから答えを出します。この実装は出力層の射影を損失計算の中に取り込み、系列を一区切りずつ処理しては捨てるため、その行列を一度も作りません。ピークメモリが系列長に対して線形にしか増えなくなり、単一GPUで従来の4倍にあたる32,768トークンの文脈長を扱えるようになりました。実装は GitHub 上のリポジトリで公開され、詳細は arXiv の論文にまとまっています。
なぜ重要か：250GBの壁が128GBに下がった意味
この知識蒸留の改良が重要なのは、必要なGPUの台数そのものを変えてしまうからです。論文が例に挙げる gpt-oss-120b は語彙が201,088トークンあり、系列長32,768・バッチ4で学習すると、教師の確率テンソル1つだけでbfloat16換算およそ50GBに達します。勾配や活性値、最適化器の状態を足した1イテレーションのピークは約250GBで、141GBのH200でも最新のB200でも1枚では足りません。融合チャンク化した実装ではこの山が現れず、ピークは約128GBに収まります。
損失カーネル単体を切り出したベンチマークでは差がさらに明確です。32,768トークンでピークメモリは85.2GiBから5.45GiBへ、およそ15.6分の1に減っています。従来の密なKL損失は65,536トークン以降そもそも動作しません。262,144トークンでは、次に軽い実装が134.2GiBを要するのに対し11.6GiBで済み、反復あたり約3.3倍速いという結果でした。
実際の蒸留でも効果は出ています。GPT-OSS 20B を32,768トークン文脈で蒸留する構成は、4つのGPUノードから1ノードへ縮小できました。ステップ時間は57.0秒から12.23秒へ約5倍速くなり、GPUあたりのスループットは74.2から345.7 TFLOP/s へ上がっています。8,192トークンでの比較では、従来のオンライン蒸留がピークメモリ102.8GB・1反復25.9秒・237 TFLOP/s だったのに対し、融合チャンク版は58.3GB・20.2秒・304 TFLOP/s でした。しかも4手法の学習損失曲線はほぼ重なっており、上位100件のロジットだけを使っても品質が落ちていないことが確認されています。
今後の動き：勝負どころは作る側のコストへ
小型モデルの競争は、今後「どれだけ実験を回せたか」で決まっていきそうです。オープンモデルの巨大化は止まっておらず、2.8兆パラメータの Kimi-K3 はロードするだけで約3TBのVRAMを要します。そのまま動かすのは現実的でないため、圧縮してから知識蒸留で性能を戻す流れが標準になりつつあり、Nvidia の Nemotron 3 Puzzle 75B や Multiverse Computing 自身の Hypernova 60B がその例です。蒸留が安くなれば、損失関数や系列パッキングの条件を何百通りも試せるようになり、同じ元モデルからでも出来上がる小型モデルの質に差がつきます。
一方で限界も率直に示されています。Llama 3.1 8B Instruct から約3.2Bへ蒸留した生徒モデルは、BoolQ と HellaSwag では教師の精度をおおむね維持したものの、MMLU では約9ポイント下回りました。パラメータ数が半分以下であることを踏まえれば健闘した数字ですが、幅広い知識を問う用途では差が出ます。用途を絞れるかどうかが小型モデル採用の分かれ目になる、という構図は変わっていません。
日本のEC事業者にとって何が変わるか
明日の店舗運営が変わる話ではありません。楽天市場やAmazon、Shopifyの管理画面で何かの設定が増えるわけでもなく、蒸留を自社で回す事業者もほとんどいないはずです。変わるのは、ベンダーから提示される見積もりの中身と、内製とAPI利用の損益分岐点です。これまで「自社データで小型モデルを育てる」提案の費用の大半は学習インフラで占められていました。その部分が数ノードから1ノードへ下がるなら、初期費用の桁が変わる可能性があります。
もう1つ現実的なのは文脈長です。32,768トークンが1GPUで扱えるということは、問い合わせ履歴や商品説明、社内マニュアルのような長い文書をまとめて学習させる構成が組みやすくなるという意味になります。顧客データを外部に出さずオンプレミスや自社クラウド内で完結させたい要件とも相性がよく、ローカル環境で動かすAIモデルの論点や、小型モデルを審査業務に内製する判断軸と合わせて検討する価値があります。ただし精度の落ち幅は用途によって変わるため、商品説明の自動生成など公開文面に使う場合はオープンソースLLMの誤情報リスクを前提にした検証工程を残しておくべきです。
まとめ
知識蒸留のコストが下がったことで、小型AIモデルは「配られるもの」から「選んで育てるもの」へ移りつつあります。EC事業者が今すぐ手を動かす必要はありませんが、内製提案を受けたときに学習インフラ費の見積もりが妥当かを判断する材料にはなります。精度がMMLUで約9ポイント落ちる事実も含め、用途を絞った採用が現実的な進め方です。
参考文献
- Making Knowledge Distillation Cheap Enough to Run at Scale（Multiverse Computing / Hugging Face、2026年8月10日）
- Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss（arXiv:2608.03796）
- 同論文の Hugging Face Papers ページ（アブストラクト・著者一覧）
- Full-Chunked-KL-Loss 実装リポジトリ（CompactifAI）
- Multiverse Computing CompactifAI 製品ページ
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: Hugging Face（Multiverse Computing 技術ブログ）
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
