[NeurIPS 2021] 1편: 생성 모델 - Diffusion Model 리뷰

Generative Model(생성 모델)은 데이터의 분포를 추정하여 새로운 데이터를 생성하는 모델로, 크게 Discriminative Model(분별 모델)과 구분된다. 생성 모델의 성능은 데이터의 Likelihood(우도)를 얼마나 잘 예측하는지와 생성된 데이터의 품질로 판단한다.

주요 생성 모델의 특징은 다음과 같다.

• Auto-regressive models (ARMs): 조건부 확률의 곱으로 Likelihood를 계산하나 샘플링이 느리다.
• Variational Autoencoders (VAEs): 잠재 변수를 활용해 빠른 샘플링이 가능하지만 Likelihood 다루기가 어렵다.
• GANs: 생성자와 판별자의 경쟁을 통해 고품질 샘플을 생성하지만 학습이 불안정하다.
• Diffusion Models: 데이터에 노이즈를 추가하는 Diffusion Process와 이를 역으로 수행하는 Reverse Diffusion Process를 통해 분포를 추정한다.

최근 Diffusion Model은 AR 모델보다 우수한 Likelihood 성능을, GAN보다 뛰어난 샘플 품질을 보여주며 활발히 연구되고 있다. 본 리뷰에서는 열역학에서 아이디어를 얻은 Diffusion 모델의 수학적 구조와 원리를 상세히 다룬다.