Microsoft dévoile Code Video Model pour contrôler la génération vidéo par code

Microsoft a dévoilé le Code Video Model, une approche de génération vidéo qui utilise du code exécutable pour contrôler précisément la structure d'une scène, le mouvement des objets et les trajectoires de caméra, selon aitimes.com. L'annonce date du 11 octobre 2026.

Le modèle convertit les prompts en programmes exécutables via un agent de codage qui sert de moteur de génération vidéo. Cet agent écrit le code des positions des objets, de leurs déplacements, du timing et des chemins de caméra, en appliquant des équations physiques. Il produit une vidéo proxy et des images de référence en moins d'une minute.

Un modèle Reference-to-Video (R2V) pré-entraîné génère ensuite la vidéo finale détaillée à partir de la vidéo proxy et des images de référence. Une technique de « conditionnement aux étapes précoces » applique la vidéo proxy uniquement durante les premières phases d'échantillonnage, puis retire la condition.

L'équipe a introduit CodeVideoBench, un benchmark couvrant les jeux, le montage de scènes, le mouvement fondé sur la physique, le bullet time et la reconstruction 3D/4D. Le Code Video Model combiné au modèle R2V MiniMax-H3 obtient 85,2, 82,1 et 85,8 points sur QwenVL-3.8-27B, GPT-5.6 et GPT-6 respectivement.

Le précédent modèle fondé sur l'apprentissage le plus performant, VACE, obtient 74,3, 73,1 et 80,6 sur les mêmes benchmarks. Les poids et le code associé sont disponibles via Hugging Face et GitHub.

Une alternative aux modèles de diffusion vidéo

Les modèles de diffusion vidéo existants peuvent produire des vidéos réalistes, mais déterminent en interne le placement des objets, leurs mouvements et les trajectoires de caméra, ce qui rend difficile tout ajustement détaillé par l'utilisateur.