Balestriero와 LeCun, JEPA로 플라톤 표현 가설 증명

• 양호한 뷰의 양성 쌍(positive pairs)을 사용할 때, 서로 다른 모달리티로 학습된 JEPA가 하나의 회전(rotation)을 제외하고 동일한 표현으로 수렴함을 증명하는 플라톤 표현 정리(Platonic Representation Theorem)를 확립함
• 다음 토큰 예측(next-token prediction)을 불량 뷰(bad views)를 가진 JEPA로 규정하여, 언어 모델이 비전 모델과 정렬되려면 막대한 규모가 필요한 이유를 설명함
• 109M 파라미터 텍스트 JEPA가 72B 파라미터 이하의 언어 모델보다 DINOv2 및 CLIP 이미지 인코더와 더 잘 정렬됨
• ImageNet-100 제로샷 평가에서 64%의 top-5 정확도를 달성하여, 최대 56%에 그친 8B 파라미터 이하 언어 모델을 추월함

Theoretical Framework

• 한 장면의 두 관측값(양호한 뷰)으로 정의된 양성 쌍이 플라톤 표현을 구축하는 핵심 레버임
• 뷰가 양호하지 않을 때의 정렬 불일치(misalignment)가 상한(bounded)으로 제한되어, 표현 수렴에 대한 수학적 보장을 제공함

Empirical Validation

• 정렬의 스케일링 법칙(scaling law)이 145k 캡션부터 940M 웹 이미지까지의 데이터셋 범위에서 시드 노이즈(seed noise) 수준 내에서 미확인 실행 결과를 예측함
• 별도로 학습된 인코더를 한 번 회전시켜 COCO에서 CIDEr 점수 .838을 달성하는 이미지 캡셔너를 생성함