연속 시간 일관성 모델의 단순화, 안정화 및 확장

기존 **확산 모델(Diffusion models)**은 뛰어난 생성 성능을 보여주지만, 샘플링 과정에서 수십에서 수백 번의 단계가 필요해 실시간 적용에 한계가 있다.

OpenAI는 이를 해결하기 위해 **sCM(continuous-time consistency models)**이라는 새로운 접근 방식을 제안한다. sCM은 이론적 공식을 단순화하여 연속 시간 일관성 모델의 학습을 안정화하고 대규모 데이터셋으로 확장할 수 있게 한다.

sCM은 다음과 같은 성능을 보여준다:

• 단 2단계의 샘플링만으로 기존 확산 모델과 대등한 품질의 샘플 생성
• 기존 방식 대비 약 50배의 실시간 속도 향상
• 15억 개(1.5B) 파라미터 규모의 모델을 ImageNet 512x512 해상도에서 성공적으로 학습
• 단일 A100 GPU에서 별도의 최적화 없이 샘플 하나를 생성하는 데 단 0.11초 소요

sCM은 사전 학습된 확산 모델(Teacher model)로부터 지식을 증류(Distillation)하는 방식을 사용한다. 특히 교사 모델의 규모가 커질수록 sCM의 성능도 비례하여 향상되는 특성을 보이며, 2단계 샘플링만으로도 수백 단계가 필요한 교사 모델과 비교해 FID 점수 차이가 10% 미만일 정도로 높은 품질을 유지한다.