'H-JEPA' 세계 모델, 미로 탈출 성공률 18%→73%

얀 르쿤이 참여한 국제 공동 연구팀이 계층적 월드 모델 'H-JEPA'를 5일 온라인 아카이브에 공개했다고 aitimes.com이 보도했다. 연구팀에는 NYU AMI Lab과 INRIA Paris, 브라운 대학교가 포함됐다.

'H-JEPA'는 단기 계획과 장기 계획을 서로 다른 추상화 수준으로 분리한다. 개미 로봇이 미로를 탈출하는 AntMaze 환경에서 3단계 'H-JEPA'는 단일 계층 모델의 성공률 18%를 73%까지 끌어올렸다.

각 계층은 자체 잠재 공간에서 미래 상태를 예측하며 종단 간 학습된다. 1단계는 5프레임 단위의 단기 변화를, 상위 단계는 10프레임과 20프레임 단위를 각각 예측한다. SIGReg 정규화 메커니즘은 계층 간 복잡한 학습 과정을 안정화한다.

계획은 최상위 계층이 전체 방향을 정하고 하위 계층이 구체적 행동으로 옮기는 하향식으로 이뤄진다. DROID 실험에서는 Inverse Dynamics 손실이 궤적 충실도를 높였지만, 이는 오프라인 궤적 재현만 평가한 결과다.

연구진은 'H-JEPA'가 로봇 내비게이션과 물류 자동화, 물체 조작에 적용될 가능성이 크다고 밝혔다. 또 상위 계층 표현을 언어와 연결해 로봇이 자연어 지시를 이해하도록 하는 후속 연구를 계획하고 있다.