The Annotated JEPA

이 글은 **Joint Embedding Predictive Architectures (JEPA)**를 밑바닥부터 단계별로 구현하며 그 작동 원리를 상세히 설명합니다. 마치 'The Annotated Transformer'가 Transformer를 다룬 것처럼, JEPA의 모든 구성 요소를 구축하고 학습 루프를 완성하는 것을 목표로 합니다.

JEPA는 Yann LeCun이 제안한 자기지도 학습(Self-Supervised Learning) 방법론으로, 레이블 없이도 모델이 세상의 구조를 이해하도록 훈련하는 데 중점을 둡니다. 핵심은 픽셀 단위의 세부 사항에 매몰되지 않고, 표현 공간(Representation Space/Latent Space) 내에서 예측을 수행함으로써 불필요한 노이즈를 무시하고 의미 있는 특징만을 학습하는 것입니다.

주요 내용은 다음과 같습니다:

• I-JEPA: 이미지의 마스킹된 영역의 표현을 가시적인 컨텍스트로부터 예측하여 의미론적 이미지 표현을 학습하는 방식
• V-JEPA & V-JEPA 2: I-JEPA를 비디오 데이터로 확장한 모델
• LeJEPA: 엔지니어링적 휴리스틱을 분포 정규화(Distributional Regularizer)로 대체하려는 최신 시도

구현 측면에서는 교육적 목적을 위해 FlashAttention이나 혼합 정밀도(Mixed-precision)와 같은 대규모 학습용 엔지니어링 기법은 제외되었으나, 수학적 원리와 핵심 아키텍처를 명확히 전달하는 데 집중합니다.