マイクロソフト、コードで動画を制御する「Code Video Model」発表

マイクロソフトは2026年10月11日、実行可能コードを使って映像の構造や物体の動き、カメラ経路を精密に制御する動画生成手法「Code Video Model」を発表した。aitimes.comが伝えた。

このモデルは、コーディングエージェントを動画生成エンジンとして機能させ、プロンプトを実行可能なプログラムに変換する。エージェントは物体の位置や動き、タイミング、カメラ経路のコードを物理方程式を適用しながら記述。1分未満でプロキシ動画と参照画像を生成する。

その後、事前学習済みのReference-to-Video（R2V）モデルがプロキシ動画と参照画像から最終的な詳細映像を生成する。「early-step conditioning」と呼ばれる手法は、プロキシ動画をサンプリングの初期段階にのみ適用し、その後は条件を除去する。

研究チームはゲーム、シーン編集、物理ベースの動き、バレットタイム、3D/4D再構成を対象とするベンチマーク「CodeVideoBench」も導入した。Code Video ModelとR2Vモデル「MiniMax-H3」の組み合わせは、QwenVL-3.8-27Bで85.2点、GPT-5.6で82.1点、GPT-6で85.8点を記録。従来の学習ベースモデル「VACE」の74.3点、73.1点、80.6点を上回った。

重みと関連コードはHugging FaceとGitHubで公開されている。

従来モデルとの違い

既存の動画拡散モデルはリアルな映像を生成できる一方、物体の配置や動き、カメラ軌道を内部的に決定するため、ユーザーによる詳細な調整が難しかった。