動画生成AIが画像認識の基盤に|DeepMindが500分の1のデータで実証

Google DeepMindのGenCeptionは動画生成AIを画像認識に転用し、7500本の合成動画だけで最先端モデルに並ぶ性能を実証。世界モデル論争への影響と今後の注目点を解説します。

投稿日: カテゴリー AIニュース

GenCeptionとは、動画生成AIを画像認識に転用する新技術のことです。

Google DeepMindが、動画生成AIを画像認識の基盤モデルへ転用する新研究「GenCeption」を発表しました。わずか7,500本の合成動画で学習しながら、深度推定やセグメンテーションといった定番タスクで専用モデルに匹敵する性能を示しています。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援を2023年から提供する株式会社オルセル(うるチカラ運営)が解説します。

何が起きたか:動画生成AIを1回の推論で画像認識に転用

結論から言うと、GenCeptionは学習済みの動画生成AIを土台に、深度推定・セグメンテーション・3D姿勢推定などの画像認識タスクを1つのモデルでこなす仕組みです。The Decoderが2026年7月19日に報じ、論文はarXivで公開されています。

土台となるのは、アリババがオープンソースで公開している動画生成モデルWan2.1です。通常の拡散モデルはノイズから何段階もかけて映像を生成しますが、GenCeptionはこれを1回の順伝播(フォワードパス)で予測を出す構造に組み替え、画像認識の実務に耐える速度を実現しました。

設計上の工夫はシンプルです。深度マップも法線マップもセグメンテーションマスクも、すべて3チャンネルのRGB画像として統一的に出力し、どのタスクを実行するかはチャットボットへの指示のようにテキストプロンプトで切り替えます。学習にはタスク横断で共通の損失関数を1つだけ使い、アーキテクチャはタスクごとに変えません。

学習データの大半は合成データです。800体のデジタル人体モデルと200種類のモーションキャプチャー動作を組み合わせ、Blenderで背景やカメラアングルを変えてレンダリングした約7,500本の動画が中心で、実写動画を使ったのは言語指示によるセグメンテーションの学習だけでした。

GenCeptionが同じ動画から深度マップ、法線マップ、セグメンテーション、姿勢推定を生成する例

なぜ重要か:学習データ500分の1で専用モデルに並んだ

重要なのは、GenCeptionが専用モデルの7分の1から500分の1という少ないデータ量で、最先端に並ぶ精度を出した点です。数百万本の動画で学習したD4RTやVGGT-Omegaと同水準の結果を、桁違いに小さいデータで再現しました。

個別のベンチマークでも、深度推定では専用モデルのDepthAnything 3に匹敵し、法線推定ではNormalCrafterとLotus-2を上回りました。3D姿勢認識ではGenmoとTRAMを超え、言語指示による複雑なセグメンテーションでは、MetaのSAM 3とGemini 3.5 Flashを組み合わせた構成と同等の成績です。同条件の比較では、V-JEPAやVideoMAE V2といった既存の事前学習手法も上回ったと報告されています。

汎化性能も注目に値します。学習データはほぼ「1人の人物が映る合成動画」だけだったにもかかわらず、複数人が映る実写映像や、一度も学習していない動物・ヒューマノイドロボットにも認識能力が転移しました。猫のヒゲや髪の毛1本1本の輪郭を保持した出力さえ得られたといいます。

この結果が示唆するのは、大規模言語モデルで起きたことの再現です。言語モデルは「次の単語を予測する」学習の副産物として文法や世界知識を獲得しました。動画生成AIも、リアルな映像を作るために空間の幾何構造や物体の動き、基本的な物理を内部に取り込んでいるのではないか、というのがDeepMind研究チームの主張です。

GenCeptionと専用モデルの性能比較。7分の1から500分の1の学習データで最先端に接近することを示すチャート

今後の動き:世界モデル論争と実用化の課題

今後の焦点は、「動画生成AIは世界モデルを内包するのか」という業界論争の行方です。研究チームは、動画生成AIが娯楽用ツールにとどまらず、コンピュータービジョンの基盤モデルになり得ると主張します。一方で、国際研究チームが提案した世界モデルの統一定義では、現実世界からのフィードバックを持たないという理由でテキストからの動画生成モデルは除外されました。元Metaのヤン・ルカンは生成型の動画モデルを行き止まりと断じ、ピクセルではなく抽象概念を予測するV-JEPA 2の路線を推しています。清華大学のベンチマークでは、Sora 2やSeedance 2.0、Veo 3.1が見た目は完璧でも基礎的な物理・論理テストに繰り返し失敗したことも指摘されています。

GenCeption自体にも課題は残ります。全タスクの同時学習では3Dキーポイント推定の精度が下がり、処理速度も81フレームの動画に小型モデルで約6秒、140億パラメータの大型モデルで約10秒かかるため、リアルタイム用途にはまだ届きません。

関連する動きとして、うるチカラではMicrosoftの空間記憶を持つ動画生成AI「Mirage」や、AmazonとNVIDIAが出資する3D世界モデル企業OdysseyByteDanceの動画生成AI「Seedance 2.5」も取り上げてきました。動画生成と世界モデルをめぐる主導権争いは、Google・Meta・Amazon・中国勢を巻き込んで加速しています。

まとめ

GenCeptionは、動画生成AIが画像認識の基盤モデルになり得ることを、500分の1という圧倒的なデータ効率で示した研究です。世界モデル論争の決着はまだ先ですが、「生成のために学んだ表現が認識にも使える」という実証は、コンピュータービジョンの開発コスト構造を変える可能性があります。

EC事業者の目線で1つだけ補足すると、商品画像の背景除去や被写体の切り抜きはセグメンテーション技術そのものであり、現在は専用ツールに依存している領域です。少ないデータで動く汎用の画像認識基盤が実用化すれば、商品撮影から採寸、バーチャル試着まで、画像処理まわりのコストが将来的に下がる余地があります。続報を追う価値のあるテーマです。

参考文献

※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談(30分)も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/

引用元: The Decoder


【監修】齋藤竹紘(株式会社オルセル代表 / 19年・5,000社のEC支援実績)


投稿者: 齋藤竹紘

株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。

お問い合わせ