Consistency Model 학습 기법 개선

Consistency Model은 별도의 적대적 학습 없이도 단 한 번의 샘플링으로 고품질 데이터를 생성할 수 있는 차세대 생성 모델이다. 기존 방식은 사전 학습된 Diffusion Model로부터 지식을 전수받는 Distillation(증류) 방식에 의존했으나, 이는 모델의 품질을 기존 Diffusion Model 수준으로 제한하고 LPIPS와 같은 학습 지표 사용 시 편향을 일으키는 한계가 있었다.

이를 해결하기 위해 데이터로부터 직접 학습하는 새로운 Consistency Training 기법을 제시한다. 주요 개선 사항은 다음과 같다:

• 교사(Teacher) 모델에서 **EMA(Exponential Moving Average)**를 제거하여 기존 이론적 결함 해결
• LPIPS를 대체하기 위해 강건한 통계 기반의 Pseudo-Huber loss 채택
• Lognormal noise schedule 도입 및 학습 반복에 따른 Discretization steps 배증

이러한 개선을 통해 CIFAR-10에서 FID 2.51, ImageNet 64×64에서 FID 3.25를 달성하며, 기존 방식 대비 각각 3.5배 및 4배의 성능 향상을 기록했다. 2단계 샘플링을 적용할 경우 성능은 더욱 향상되어 최신 생성 모델들과의 격차를 좁혔다.