GEAR: 이미지 생성 효율을 10배 높인 end-to-end 학습법

기존 이미지 생성 모델은 토크나이저를 먼저 학습시킨 후 생성 모델을 학습시키는 2단계 방식을 사용해 두 모델 간의 불일치 문제가 발생했습니다.

새롭게 제안된 **GEAR(Guided End-to-end AutoRegression)**는 VQ 토크나이저와 자기회귀(AR) 생성기를 **표현 정렬(Representation Alignment)**을 통해 엔드투엔드로 공동 학습합니다. 이 과정에서 발생하는 미분 불가능성 문제는 Dual Read-out(Hard/Soft branch) 방식을 통해 해결하여, 생성 모델이 예측하기 쉬운 방향으로 토크나이저를 유도합니다.

주요 성과는 다음과 같습니다:

• 학습 속도 혁신: ImageNet gFID 수렴 속도가 기존 LlamaGen-REPA 대비 최대 10배 빠름
• 특징 정렬 최적화: 생성 모델의 특징이 DINOv2와 더 유사해지도록 유도하여 공간적 일관성 확보
• 범용성: VQVAE, LFQ, IBQ 등 다양한 양자화 방식과 Text-to-Image 생성 작업에도 적용 가능