ルクン氏ら、JEPA同士が同じ内部表現に収束する条件を数学的に証明

ヤン・ルクン氏とランドール・ベイルストリエロ氏は2026年10月29日、独立に学習されたJEPAモデルが回転を除いて同じ内部表現を形成する条件を数学的に示した論文をarXivに公開した。ルクン氏はニューヨーク大学の教授で、自らが設立した研究機関AMI Labsの創設者でもある。ベイルストリエロ氏はブラウン大学の教授を務める。aitimes.comが報じた。

論文によると、「Good Views」と呼ぶデータ構築手法を用いたJEPAは、2160万件の学習サンプルで次トークン予測が9億件を要した内部表現類似度に到達した。差は約42倍に相当する。学習に使うテキストトークン数で測ると、差は14倍だった。

1億900万パラメータのJEPAを、テキストが紐づいた約9億4000万枚のウェブ画像で学習させた実験では、画像AIに対する内部表現類似度が720億パラメータまでの言語モデルを上回った。主要評価でJEPAは0.184、Qwen2.5-72Bは0.154だった。

研究チームはgood-viewデータの割合と学習サンプル数から予測則を構築し、未実施の85件の実験結果を予測した。誤差は乱数シードの違いによる実行間の変動と同程度だったが、一部の大規模な学習規模では誤差が拡大した。

別の実験では、独立に学習した画像モデルとテキストモデルの内部表現を単純な数学的変換で結び付け、画像内容を説明する文を生成した。変換の学習には3万件の画像とキャプションの対を使用した。画像とテキストの対応データなしで両モデルの内部表現を整合させる実験も行った。

論文は、実験が数学的な前提を完全には満たしていないこと、大規模実験の多くのテキストが画像キャプションAIによって生成されたことを認めている。画像キャプションAIが生成したキャプションを除外すると、表現の整合性能は低下した。研究分析サイトのEsscherが論文に言及し、開発者コミュニティのHacker Newsでも議論が交わされた。