Intel CPU용 SD 5.1배 가속

Stable Diffusion의 핵심인 UNet 모델은 연산량이 매우 많아 GPU 없이 CPU만으로 구동할 경우 생성 속도가 매우 느리다는 단점이 있다.

기존의 8비트 양자화(Post-training quantization) 방식은 Stable Diffusion과 같은 복잡한 모델에서 정확도가 크게 떨어지는 문제가 발생한다. 이는 모델의 중복성이 낮고 방대한 정보를 포함하고 있기 때문이다.

이를 해결하기 위해 Hugging Face는 다음과 같은 워크플로우를 제안한다:

• NNCF를 통한 양자화 인식 학습(QAT) 적용
• **지식 증류(Knowledge Distillation)**를 활용해 최적화 과정 중 정확도 유지
• Token Merging 기술 결합

이 방법을 적용한 결과, PyTorch 대비 5.1배의 추론 가속과 4배의 모델 크기 감소를 달성했다.