AI Briefingcyankiwi, AWQ 양자화 방식 개선
Introducing cyankiwi AWQ 4-bit Quantization — 26.05 update
·2026.05.15 03:49
핵심 내용
cyankiwi가 스케일과 양자화 범위를 공동 최적화하여 오차를 줄인 AWQ 4-bit 업데이트를 공개했다.
자세히 보기
기존 AWQ 방식은 스케일(scales)과 양자화 파라미터를 별도로 결정하기 때문에 최적화 과정에서 품질 손실이 발생한다.
cyankiwi AWQ 26.05 업데이트는 재구성 목적 함수(reconstruction objective)를 사용하여 스케일과 양자화 범위를 **동시에 최적화(jointly fits)**함으로써 양자화 오차를 최소화한다.
Llama-3 시리즈(3B, 8B, 70B)를 대상으로 한 벤치마크 결과, Unsloth BNB NF4, NVIDIA AWQ, GPTQ 등 기존의 주요 4-bit 양자화 방식들보다 낮은 KL 발산(KLD) 값을 기록하며 BF16 베이스라인에 가장 근접한 성능을 입증했다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
