AI BriefingKQuant, Qwen Flash Next 180B Mac용 양자화 3.7배 개선
KQuant - new quantization technique, 3.7× better quants for Qwen Flash Next 180B, Qwen 27B, 35B, 9B (measured in KL-divergence reduction) (MLX)
·2026.11.12 19:47
핵심 내용
KQuant가 Qwen 모델 KL 발산을 최대 3.7배 줄이고 M5 Pro 추론 속도를 높였다
자세히 보기
- Nace가 개발한 새로운 양자화 기법 KQuant가 Hugging Face에서 Qwen3.5-4B, 9B, Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.8-Flash-Next 모델용 오픈소스 MLX 팩을 제공함
- 공개된 4비트 베이스라인(mlx-community 또는 lmstudio-community) 대비 KQuant Q4의 KL 발산이 낮으며, Qwen3.8-Flash-Next에서 3.7배(0.067 대 0.249), Qwen3.5-9B에서 2.6배(0.030 대 0.081) 개선됨
- 실제 텍스트를 활용해 가중치 그룹의 스케일과 오프셋을 결정하고 민감한 레이어에 추가 비트를 할당하며, 릴리스 전 클라우드 GPU 클러스터에서 탐색 수행함
- Kapitsa 0.2.35와 KFlash drafter를 사용할 때 4B, 9B, 27B 모델의 M5 Pro 추론 속도가 공개 4비트 팩보다 6~15% 빠름. 35B 모델은 Youssofal MTPLX 4비트와 비교함. 커스텀 커널이나 특수 로더 불필요함
- 9B, 27B, 35B 모델용 Q5 변형도 제공되며, 파일 크기가 약간 더 크지만 정밀도가 더 향상됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
