Hadamard 회전 기반 3비트 양자화 WarpQuant

WarpQuant는 압축 도메인과 복구 도메인을 분리하는 새로운 사후 학습 양자화(PTQ) 방법론이다.

주요 기술적 특징:

• Hadamard 회전: 투영 가중치에 결정론적인 부호 Hadamard 회전($R=HD$)을 적용한다.
• 3-bit 양자화: 3-bit Gaussian Lloyd-Max 코드북과 block-GPTQ 오류 피드백을 사용하여 회전된 가중치를 양자화한다.
• Output-Fisher Recovery: 다음 토큰 NLL 그래디언트에서 계산된 Output-Fisher sensitivity를 활용해 가장 민감한 컬럼의 랭크를 복구한다.

Qwen3.8-27B 성능 결과:

• 3.6165 bpw의 낮은 비트수를 달성하면서도, 기존 IQ3_S 방식보다 우수한 PPL(7.4737)과 ARC(56.86%) 성능을 기록했다.
• BF16 대비 용량을 획기적으로 줄이면서도 벤치마크 성능을 효과적으로 유지했다.

기타 모델 및 배포:

• Qwen3.5-4B 및 Llama 3 8B 모델에서도 기존 양자화 방식 대비 성능 개선을 입증했다.
• 현재 Hugging Face를 통해 safetensors 형식의 체크포인트를 제공하며, Ollama용 GGUF 형식은 추후 지원될 예정이다.