H-JEPA : un modèle du monde hiérarchique booste la navigation en simulation
Une équipe internationale a publié H-JEPA, un modèle du monde hiérarchique qui fait passer le taux de réussite en navigation simulée de 18 % à 73 %.
Une équipe de recherche internationale réunissant le NYU AMI Lab, INRIA Paris et l'université Brown a mis en ligne le 5 un nouveau modèle du monde hiérarchique baptisé H-JEPA, selon le site aitimes.com. L'architecture sépare la planification à court terme et à long terme en différents niveaux d'abstraction.
Dans l'environnement de simulation AntMaze, où un robot fourmi doit s'échapper d'un labyrinthe, la version à trois niveaux de H-JEPA fait passer le taux de réussite de 18 % pour un modèle à un seul niveau à 73 %. Les niveaux hiérarchiques sont entraînés de bout en bout, chacun prédisant les états futurs dans son propre espace latent.
Le niveau 1 prédit les changements à court terme sur 5 images, tandis que les niveaux supérieurs utilisent des échelles de 10 et 20 images. Un mécanisme de normalisation appelé SIGReg stabilise cet entraînement inter-niveaux complexe. La planification se déroule de haut en bas : le niveau le plus élevé fixe la direction générale, les niveaux inférieurs la traduisent en actions concrètes.
Résultats hors simulation et applications envisagées
Lors d'essais sur DROID, une perte de dynamique inverse a amélioré la fidélité des trajectoires, mais cette évaluation ne portait que sur la reproduction hors ligne de trajectoires. Les chercheurs estiment que H-JEPA pourrait s'appliquer à la navigation robotique, à l'automatisation logistique et à la manipulation d'objets.
Ils prévoient de relier les représentations de haut niveau au langage afin que les robots puissent comprendre des instructions en langage naturel.
Yann LeCun a participé à ces travaux en tant que membre du NYU AMI Lab. JEPA est une technologie qu'il a développée durant son passage chez Meta, et H-JEPA constitue une technologie de modèle du monde centrale actuellement développée par sa start-up AMI.
En bref
Qu'est-ce que H-JEPA ?
H-JEPA est un modèle du monde hiérarchique qui sépare la planification à court terme et à long terme en différents niveaux d'abstraction.
Quels résultats H-JEPA a-t-il obtenus en simulation ?
Dans l'environnement AntMaze, la version à trois niveaux a fait passer le taux de réussite de 18 % à 73 % par rapport à un modèle à un seul niveau.
Quelles applications sont envisagées pour H-JEPA ?
Les chercheurs citent la navigation robotique, l'automatisation logistique et la manipulation d'objets, et prévoient de connecter les représentations de haut niveau au langage naturel.