cyankiwi, AWQ 양자화 방식 개선
Introducing cyankiwi AWQ 4-bit Quantization — 26.05 update
·2026.05.15 03:49
cyankiwi가 스케일과 양자화 범위를 공동 최적화하여 오차를 줄인 AWQ 4-bit 업데이트를 공개했다.
기존 AWQ 방식은 스케일(scales)과 양자화 파라미터를 별도로 결정하기 때문에 최적화 과정에서 품질 손실이 발생한다.
cyankiwi AWQ 26.05 업데이트는 재구성 목적 함수(reconstruction objective)를 사용하여 스케일과 양자화 범위를 **동시에 최적화(jointly fits)**함으로써 양자화 오차를 최소화한다.
Llama-3 시리즈(3B, 8B, 70B)를 대상으로 한 벤치마크 결과, Unsloth BNB NF4, NVIDIA AWQ, GPTQ 등 기존의 주요 4-bit 양자화 방식들보다 낮은 KL 발산(KLD) 값을 기록하며 BF16 베이스라인에 가장 근접한 성능을 입증했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.