ルクン氏ら、階層型世界モデル「H-JEPA」を公開 迷路成功率18%→73%
NYU AMI LabやINRIA Parisなどが参加する研究チームが、短期と長期の計画を異なる抽象度に分ける階層型世界モデルH-JEPAを公開した。
ニューヨーク大学AMIラボ、INRIA Paris、ブラウン大学などが参加する国際研究チームは5日、階層型世界モデル「H-JEPA」をオンラインアーカイブで公開した。Yann LeCun氏も研究に加わっている。チームによると、アリ型ロボットが迷路を脱出するAntMaze環境で、単一階層モデルの成功率18%を、3階層のH-JEPAでは73%に高めた。
H-JEPAは、短期計画と長期計画を異なる抽象度の階層に分離する。各階層は独自の潜在空間で将来の状態を予測し、全体がエンドツーエンドで訓練される。第1階層は5フレームの短期変化を、上位階層は10フレームと20フレームの時間スケールをそれぞれ予測する。階層間の複雑な訓練を安定させるため、SIGRegと呼ぶ正規化機構を採用した。
計画はトップダウンで進む。最上位の階層が大まかな方向を定め、下位の階層がそれを具体的な行動に変換する。
DROIDでの検証と今後の応用
DROIDでの試行では、Inverse Dynamics損失が軌道の忠実度を改善した。ただし、これはオフラインでの軌道再現のみを評価したものだという。
研究チームは、H-JEPAがロボットのナビゲーション、物流の自動化、物体操作などに応用できる可能性が高いと述べている。今後は上位階層の表現を言語に接続し、ロボットが自然言語の指示を理解できるようにする計画だ。
よくある質問
H-JEPAは何を目指したモデルですか？
短期計画と長期計画を異なる抽象度の階層に分離し、各階層が独自の潜在空間で将来の状態を予測する階層型世界モデルです。
AntMazeでの成功率はどれくらい向上しましたか？
単一階層モデルの18%から、3階層のH-JEPAでは73%に向上しました。
今後はどのような応用が想定されていますか？
研究者はロボットのナビゲーション、物流の自動化、物体操作への応用が可能としています。