Diffusers, Nunchaku 4비트 양자화 공식 지원

Nunchaku는 SVDQuant 기법을 사용하는 4비트 디퓨전 추론 엔진으로, 가중치와 활성화 모두 4비트(W4A4)로 실행해 기존 weight-only 양자화와 달리 속도까지 개선한다. 이번 Diffusers 통합으로 별도 추론 라이브러리 없이 from_pretrained()만으로 Nunchaku 체크포인트를 로드할 수 있게 됐다.

성능 비교 (RTX 5090, 1024×1024 이미지 생성)

• BF16: ~24 GB VRAM
• Nunchaku NVFP4: ~12 GB VRAM, 약 1.7초 생성

SVDQuant 핵심 원리: 활성화 이상치(outlier)를 가중치로 흡수하고, 가중치 행렬의 어려운 부분을 소규모 16비트 저랭크(low-rank) 브랜치로 표현한 뒤 나머지 잔차를 4비트로 양자화한다.

하드웨어 지원

• NVFP4: NVIDIA Blackwell GPU (RTX 50 시리즈, B200) 전용
• INT4: 이전 세대 GPU 지원

diffuse-compressor 툴킷을 통해 새 아키텍처를 직접 양자화해 Diffusers 저장소로 배포하는 것도 가능하다.