얀 르쿤, JEPA 표현 수렴 조건 분석 논문 공개

얀 르쿤 뉴욕대 교수와 랜들 베일스트리에로 브라운대 교수가 2026년 10월 29일 arXiv에 JEPA(공동 임베딩 예측 아키텍처)를 활용한 플라토닉 표현 가설 관련 논문을 공개했다. 르쿤은 AMI Labs를 세운 연구자이기도 하다. aitimes.com이 이 논문을 다뤘다.

논문은 독립적으로 학습된 JEPA 모델들이 회전을 제외하면 동일한 내부 표현을 형성하는 조건을 수학적으로 서술한다. 'Good Views' 데이터 구성을 적용한 JEPA는 2160만 개 학습 샘플로, 다음 토큰 예측이 9억 개 샘플에서 도달한 내부 표현 유사도에 이르렀다. 약 42배 차이다. 학습에 쓰인 텍스트 토큰 기준으로는 격차가 14배였다.

1억 900만 개 파라미터의 JEPA를 약 9억 4000만 장의 웹 이미지와 연결 텍스트로 학습시킨 결과, 이미지 AI에 대한 내부 표현 유사도 점수가 최대 720억 파라미터 언어 모델보다 높았다. 주요 평가에서 JEPA는 0.184를 기록해 Qwen2.5-72B의 0.154를 앞섰다.

연구진은 양질 데이터 비중과 학습 샘플 수로 예측 법칙을 만들고, 아직 수행하지 않은 85개 실험 결과를 추정했다. 오차는 난수 시드에 따른 실행 간 편차와 비슷한 수준이었으나 일부 대규모 학습 구간에서는 커졌다.

별도로 학습된 이미지 모델과 텍스트 모델은 단순한 수학적 변환으로 연결해 이미지 내용을 설명하는 문장을 생성했으며, 이 변환을 학습하는 데 3만 개의 이미지-캡션 쌍이 쓰였다. 이미지-텍스트 대응 데이터 없이 두 모델의 내부 표현을 정렬한 실험도 있었다.

논문은 실험이 수학적 가정을 완전히 충족하지 못했고 대규모 실험의 텍스트 상당수가 이미지 캡셔닝 AI로 생성됐다고 밝혔다. 캡셔닝 AI가 만든 캡션을 제외하면 표현 정렬 성능이 낮아졌다. 한편 2024년 MIT 등 연구진이 제안한 플라토닉 표현 가설은 이번 논문이 수학적으로 설명하려는 대상이다.