V-JEPA 2.1 강건성: 모델 크기와 비례 안 함

Meta의 V-JEPA 2.1 모델(80M~2B)을 대상으로 사전 등록된 강건성(robustness) 연구를 수행한 결과, 세 가지 주요 사실이 확인되었다.

1. 밀집 특징의 분할(Partitioned Dense Features) 모델의 밀집 특징은 시간적 손상(temporal corruption)과 이미지 노이즈(image-noise)에 대해 서로 다르게 반응한다. 프레임 드롭이나 폐쇄(occlusion) 같은 시간적 손상은 작업 실패를 잘 예측했으나, 가우시안 노이즈나 모션 블러 같은 이미지 노이즈와의 상관관계는 통계적으로 유의미하지 않았다.

2. 모델 크기와 강건성의 비단조적 관계 모델 크기가 커진다고 해서 강건성이 항상 향상되는 것은 아니다. 모든 Tier 1 손상에 대해 **비단조적(non-monotonic)**인 결과가 나타났으며, 특히 2B 모델은 1B 모델보다 세 가지 손상 유형에서 더 낮은 강건성을 보였다.

3. 방향성 민감도(Orientation-sensitivity) V-JEPA 2.1은 방향에 민감하다. 수평 뒤집기(horizontal flip)를 적용할 경우, 시간적 구조는 유지되지만 표현(representation)은 영상을 역재생했을 때와 유사하게 파괴된다. 이는 모델이 기본적으로 방향 등변성(orientation-equivariance)을 갖추지 못했음을 시사한다.

이러한 비단조적 스케일링의 원인으로는 깊은 ViT에서 발생하는 허브 한계화(hub marginalization) 현상이 제안되었다. 모델이 깊어질수록 추가 레이어가 정보를 정제하기보다 오히려 정보를 뒤섞는(scramble) 단계로 진입할 수 있다는 분석이다.