VQ-Diffusion: 이산적 잠재 공간 모델

VQ-Diffusion은 중국 과학기술대학교와 Microsoft가 공동 개발한 조건부 잠재 확산 모델로, 기존의 연속적인 확산 모델과 달리 이산적(Discrete) 잠재 공간에서 노이징 및 디노이징 과정을 수행한다.

핵심 아키텍처 및 작동 원리는 다음과 같다:

• VQ-VAE 활용: 이미지를 VQ-VAE(또는 VQGAN)를 통해 고정된 크기의 코드북(Codebook)에 포함된 이산적 토큰으로 인코딩하여 차원을 축소한다.
• 순방향 과정(Forward Process): 잠재 토큰이 그대로 유지되거나, 다른 벡터로 재샘플링되거나, 혹은 마스킹(Masking)되는 과정을 통해 데이터를 변형한다.
• 역방향 과정(Reverse Process): CLIP 텍스트 인코더와 디코더 트랜스포머를 사용하여, 주어진 프롬프트 조건 하에 마스킹되지 않은 잠재 토큰의 확률 분포를 예측한다.

이 모델은 Hugging Face의 Diffusers 라이브러리를 통해 간편하게 사용할 수 있으며, 자기회귀(AR) 모델과 비교하여 이산적 확산 모델의 가능성을 보여준다.