Google DeepMind dévoile Genie 4, un modèle de monde interactif

Google DeepMind a dévoilé Genie 4, un modèle de monde publié en aperçu de recherche, rapporte digitaltoday.co.kr. Le système génère des mondes virtuels réalistes et fortement interactifs, que l'utilisateur peut faire évoluer par des prompts pendant la simulation.

Genie 4 produit en temps réel une bande-son assortie à la scène, qu'il s'agisse de musique, de bruits d'ambiance ou de dialogues. Les utilisateurs peuvent modifier la météo et les angles de caméra en direct, et ajouter de nouveaux personnages ou objets. Selon Google DeepMind, le modèle maintient la cohérence d'une scène jusqu'à deux minutes, soit le double de Genie 3.

Gemini est étroitement intégré à Genie 4 : il peut jouer le rôle de metteur en scène, planifier les étapes et vérifier les images pendant que Genie effectue le rendu de la scène. Google cite le jeu vidéo, l'apprentissage interactif et la robotique comme principales applications, et indique que des testeurs de confiance utilisent aussi le modèle pour du prototypage cinématographique.

Genie 4 est pour l'instant réservé à ces testeurs de confiance. Google prévoit de le distribuer aux abonnés Google AI Ultra via Project Genie dans quelques semaines, ainsi qu'aux partenaires en accès anticipé via l'API Gemini et Google AI Studio.

Un contexte concurrentiel déjà marqué

Genie 3 était sorti l'année dernière. Quelques mois avant cet article, la startup de vidéo par IA Runway avait publié GWM Worlds 2, et AMD a annoncé son intention d'acquérir World Labs, la startup de modèles de monde fondée par Fei-Fei Li.