LeCun et Balestriero publient une preuve mathématique sur les JEPA
Un papier arXiv du 29 octobre 2026 décrit quand des modèles JEPA indépendants convergent vers la même représentation interne, avec un écart d'échantillons pouvant atteindre un facteur 42.
Yann LeCun et Randall Balestriero ont publié sur arXiv, le 29 octobre 2026, un article consacré à l'hypothèse de la représentation platonicienne appliquée aux modèles JEPA. Les deux chercheurs y proposent un cadre mathématique décrivant les conditions dans lesquelles des modèles JEPA entraînés indépendamment finissent par former la même représentation interne, à une rotation près.
L'article chiffre l'écart avec la prédiction du prochain token. Un JEPA recourant à la construction de données « Good Views » atteint une similarité de représentation interne avec 21,6 millions d'échantillons d'entraînement là où la prédiction du prochain token en nécessite 900 millions, soit un rapport d'environ 42. Mesuré en tokens de texte utilisés à l'entraînement, l'écart tombe à un facteur 14.
Les auteurs rapportent aussi qu'un JEPA de 109 millions de paramètres, entraîné sur environ 940 millions d'images web associées à du texte, obtient une meilleure similarité de représentation interne avec une IA d'image que des modèles de langue allant jusqu'à 72 milliards de paramètres. Sur l'évaluation principale, le JEPA obtient 0,184 contre 0,154 pour Qwen2.5-72B.
Les chercheurs ont construit une loi de prédiction à partir de la part de données « good views » et du nombre d'échantillons d'entraînement, puis l'ont utilisée pour anticiper les résultats de 85 expériences non encore réalisées, avec des erreurs comparables à la variation entre exécutions issues de graines aléatoires différentes. Les erreurs augmentaient toutefois à certaines grandes échelles d'entraînement.
Le papier décrit par ailleurs la mise en relation de modèles d'image et de texte indépendamment entraînés au moyen d'une transformation mathématique simple, afin de générer des phrases décrivant le contenu d'une image, à partir de 30 000 paires image-légende pour apprendre la transformation. Une autre expérience a aligné les représentations internes des deux modèles sans données de correspondance image-texte. Selon aitimes.com, les auteurs reconnaissent que leurs expériences ne satisfont pas pleinement les hypothèses mathématiques et que de nombreux textes des essais à grande échelle ont été produits par une IA de légendage d'images ; exclure ces légendes dégradait la performance d'alignement des représentations.
Un contexte de recherche plus ancien
En 2024, des chercheurs, dont certains issus du MIT, avaient proposé l'hypothèse de la représentation platonicienne, que ce nouvel article cherche à expliquer mathématiquement. Des travaux antérieurs avaient observé que les représentations internes des modèles d'image et de langue se rapprochaient à mesure que l'échelle des modèles augmentait, sans en expliquer la raison.
En bref
Où l'article de LeCun et Balestriero a-t-il été publié ?
Sur arXiv, le 29 octobre 2026.
Quel écart de données d'entraînement le papier mesure-t-il ?
Un JEPA avec la construction « Good Views » atteint une similarité de représentation interne avec 21,6 millions d'échantillons, contre 900 millions pour la prédiction du prochain token, soit environ 42 fois moins.
Quel score le JEPA obtient-il face à Qwen2.5-72B ?
0,184 contre 0,154 pour Qwen2.5-72B sur l'évaluation principale.