자율회귀 이미지 생성을 위한 end-to-end 토크나이저 학습

ICML 2026 Spotlight에 오른 이 연구는 자율회귀 이미지 생성의 핵심 병목인 visual tokenizer를 end-to-end로 학습하는 방식을 제시한다. 기존의 분리형 2단계 학습 대신 **재구성(reconstruction)**과 **생성(generation)**을 함께 최적화해, 생성 결과의 신호가 토크나이저 학습에 직접 반영되도록 했다.

저자들은 1D semantic tokenizer를 자율회귀 모델에 맞게 다듬는 동시에, vision foundation model을 활용해 1D 토크나이저의 표현력을 높이는 방법도 함께 탐구했다. 토큰 압축만 잘하는 토크나이저가 아니라, 실제 생성 품질을 끌어올리는 표현을 학습시키는 데 초점을 맞췄다.

• 기존 분리 학습 대신 end-to-end 최적화를 적용했다.
• 생성 결과를 토크나이저에 직접 피드백하는 구조를 사용했다.
• ImageNet 256x256 생성에서 guidance 없이 FID 1.48을 달성했다.