Sub-JEPA, LeWM 성능 개선

Sub-JEPA는 LeCun 그룹의 LeWorldModel(LeWM) 에서 쓰던 전역 isotropic Gaussian prior를 여러 개의 고정된 random orthogonal subspace에 분산 적용한다.

실제 환경의 동역학이 저차원 manifold에 놓인다는 점을 반영해, 전역 고차원 Gaussian의 과도한 제약을 완화하면서도 anti-collapse 효과는 유지한다. 추가 하이퍼파라미터는 없고, 기존과 같은 2항 objective를 그대로 쓴다.

성과는 다음과 같다.

• 4개 벤치마크에서 LeWM보다 일관되게 우수했다.
• Two-Room에서는 최대 +10.7pp 향상을 기록했다.
• latent trajectory가 더 직선적으로 나타났고, 물리 상태 decodability도 개선됐다.