단 한 개의 레이어로 충분하다: 이미지 생성을 위한 사전 학습된 시각적 인코더 적응 기술

기존의 시각적 생성 모델은 효율성을 위해 압축된 latent space에서 작동하지만, 이해(Understanding) 중심의 사전 학습된 인코더와 생성(Generation) 중심의 잠재 공간 사이에는 차원이 다른 특징값(feature) 분포라는 근본적인 불일치가 존재한다.

이를 해결하기 위해 제안된 **FAE(Feature Auto-Encoder)**는 단 하나의 attention layer만을 사용하여 사전 학습된 시각적 표현을 생성에 적합한 저차원 잠재 공간으로 변환한다. 이 프레임워크는 두 개의 별도 딥 디코더를 결합하는 것이 핵심이다.

• 첫 번째 디코더: 원래의 특징 공간을 재구성(reconstruct)하도록 학습
• 두 번째 디코더: 재구성된 특징을 입력받아 이미지를 생성

FAE는 DINO, SigLIP과 같은 다양한 자기지도 학습(self-supervised) 인코더와 호환되며, diffusion models 및 normalizing flows와 같은 다양한 생성 모델군에 즉시 적용 가능하다.

성능 측면에서 ImageNet 256×256 벤치마크를 수행한 결과, CFG(Classifier-Free Guidance) 적용 시 FID 1.29라는 SOTA급 성능을 기록했으며, CFG 없이도 FID 1.48을 달성하며 높은 품질과 빠른 학습 속도를 동시에 입증했다.