109M JEPA 모델, 72B LLM보다 비전 모델과 정렬 우수 확인

• 같은 장면의 두 관측을 양성 쌍으로 학습한 JEPA가 플라톤적 표현을 배운다는 정리를 증명함
• 109M 텍스트 JEPA가 WIT-1024 벤치마크에서 0.184 기록하여 Qwen2.5-72B(0.154)와 Llama-3-70B(0.151)를 상회함
• 21.6M 샘플로 DINOv2 정렬 수준 도달, 다음 토큰 예측 대비 42배 적은 샘플 사용 확인
• 회전 하나로 이어 붙인 캡셔너가 COCO 전이에서 CIDEr 0.668 달성, CLIP 제로샷보다 높은 성능 확인

핵심 메커니즘

• 좋은 뷰 JEPA는 장면 설명 비율 0.804로 방해 요소 최소화, 나쁜 뷰는 0.655로 정렬 오차 증가
• 양성 쌍 분포 공유 시 모든 모달리티 최적 인코더가 세계 임베딩의 회전으로 표현됨
• 다음 토큰 예측은 로그 분배 함수 붕괴 방지 항 역할로 비전 정렬에 불리한 구조임

실험 및 한계

• 9.4억 장 웹 이미지 텍스트로 학습, 시드 3개 평균으로 결과 검증
• LLM 비교는 정렬(alignment) 측정이지 생성이나 추론 능력 비교가 아님
• 이론적 조건인 유한 세계와 단사 렌더링 가정 하에 증명, 실제 실험은 LeJEPA 사용