投稿者 投稿日: カテゴリー AIニュース
チューリング賞受賞者のリチャード・サットンは、計算資源だけでは知能に届かないとXで主張しました。
本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル（うるチカラ運営）が解説します。
LLMスケーリング論争とは、モデルや計算量を大きくし続ければ知能は伸び続けるのか、それとも新しい手法が必要なのかをめぐる議論のことです。The Decoderによると、2019年のエッセイ「The Bitter Lesson」で知られるサットンが、スケーリングの信奉者に向けて改めて異議を唱えました。同記事は2026年11月8日に公開されています。サットン本人が、スケーリング万能論の元祖と見なされてきた点が、今回の議論を面白くしています。
何が起きたか サットンが示した2つの主張
サットンはX投稿の中で、計算資源だけでは知能に届かないと述べ、AI科学には巧妙な新しい手法が必要だと主張しました。分野はまだ「far from finished」、つまり完成からほど遠いという認識です。
背景にあるのは、2019年に彼が書いたThe Bitter Lessonです。このエッセイは、計算量に応じてスケールする汎用的な手法が、人間が設計した精巧な手法に最終的には勝つ、という趣旨でした。その後のトランスフォーマーとLLMの成功は、この教訓の裏付けとして語られることが多くなりました。
ところが今回のサットンは、その教訓をスケーリング礼賛の根拠にすることに釘を刺した形です。The Decoderの報道では、合成データを「big mistake」と批判したとされています。現実世界は無限に複雑で、シミュレーションは微視的なものにすぎない、というのが理由です。さらに、人間の専門知識が真のスケーリングを妨げるボトルネックになるとも述べています。
そのうえで彼が提唱するのは、世界モデルを持ち、自らの経験から継続的に学習するエージェントです。現在のLLMは学習が終わると学び続けず、インターネット上のテキストは世界の複雑さを捉えきれないという見立てです。古い知識を壊さずに学び続ける継続学習が必要だとも述べています。サットンは別途、Oak Labという研究ラボを立ち上げ、自ら学ぶエージェントの開発に取り組んでいます。
なぜ重要か 研究者の反応は割れている
この投稿には、研究者や経営者から複数の反応が出ています。元OpenAIのジェリー・トウォレクは、在籍7年を経て同社を離れた人物で、現在はCore Automationを率いています。彼は、苦い教訓は今も有効だとしつつ、計算量が増えるほどアルゴリズムが重要になると指摘しました。トランスフォーマーのスケーリングの成功と教訓の誤読が、世代の科学者の頭脳を「reward-hacked」したとまで批判しています。
ジェイデン・テオは、苦い教訓が学術研究を妨げてきたと述べました。ただし、それはサットンの責任ではなく、元の主張の誤読が原因だという立場です。有望なアイデアがスケーリングに耐えなくても、AIの進歩への重要な貢献になりうる、とも指摘しています。
一方で、OpenAIのサム・アルトマンは、LLMのスケーリングはまだ使い尽くされていないと主張しています。OpenAIのモデルが数学者の未解決の予想を反証した例を挙げ、世界モデルはロボティクスなどで有用だとしながらも、データはLLMのさらなるスケーリングを支持していると述べました。AnthropicのCEOであるダリオ・アモデイが、スケーリングの進歩を終わりのない虹にたとえた発言も取り上げられています。The Decoderは、両CEOが自社の技術戦略に賭けている立場であり、発言にはバイアスがありうると指摘しています。
同記事は、この意見の隔たりに賭ける新興AIラボが45あるとも伝えています。苦い教訓の解釈をめぐる争いは、個人の思想論争にとどまらず、研究資金と人材の流れにも結び付いているということです。
今後の動き 注目したい3つのポイント
第一に、継続学習の研究がどこまで実用水準に近づくかです。学習後に学び続けるLLMが登場すれば、運用の前提が変わります。これは現時点では研究段階の話であり、実用化の時期は要確認です。
第二に、合成データの扱いです。サットンが強く批判した一方、アルトマンらはデータがさらなるスケーリングを支持するとしています。各社の次世代モデルの発表で、どちらの立場が成果として示されるかを見極める必要があります。
第三に、新興ラボの成果です。45のラボが別のアプローチに挑んでおり、サットンやトウォレクのラボから最初の具体的な成果が出るかが焦点になります。スケーリング派と新手法派のどちらが先に結果を示すかによって、今後のAI投資の方向も変わりうるでしょう。
まとめ
サットンの発言は、スケーリング万能論への単なる反対ではなく、自分の教訓の読まれ方への問い直しでもあります。研究者の間でも意見は割れており、結論はまだ出ていません。AIの進化を追う読者は、モデルの大きさだけでなく、継続学習や世界モデルといった別の軸の進展にも目を向けておくと、ニュースの意味が読み解きやすくなります。
参考文献
- The Decoder: The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts
- Richard Sutton: The Bitter Lesson（2019）
- The Decoder: Turing Award winner Rich Sutton founds Oak Lab
- The Decoder: Sam Altman says a whole generation of researchers held AI back
- The Decoder: Anthropic CEO Amodei declares there is no end to the rainbow for AI scaling
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
引用元: The Decoder
【監修】齋藤竹紘（株式会社オルセル代表 / 19年・5,000社のEC支援実績）
株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。
この記事を読んだ人は、こんな記事も読んでいます
