QUASAR, Qwen3.5·Gemma 4 등 4-bit QAT 체크포인트 공개… BF16 성능에 근접

QUASAR가 Qwen3.5-4B, Gemma 4 E4B/12B, Muse Glimmer 30B를 위한 새로운 4-bit 양자화 인식 학습(QAT) 체크포인트를 공개했다. 이 모델들은 vLLM용 NVFP4와 llama.cpp, Ollama, LM Studio용 Q4_0 GGUF 형식으로 제공되며, 커스텀 커널이나 변환 과정이 필요 없다.

레퍼런스 릴리스 대비 성능

체크포인트는 원본 BF16 모델을 교사로 활용해 양자화 모델을 '치유'하는 양자화 인식 증류(quantization-aware distillation) 기법을 적용했다. 이를 통해 NVIDIA, Google, 커뮤니티 양자화 도구의 특정 레퍼런스 릴리스 대비 더 낮은 KL 발산(즉, BF16에 더 가까운 성능)을 달성했다.

• Muse Glimmer 30B (NVFP4): KL 발산 0.0183으로 NVIDIA의 NVFP4 릴리스(0.0300)보다 우수.
• Gemma 4 12B (W4A16): KL 발산 0.034로 Google의 QAT(0.044)보다 우수.
• Qwen3.5-4B (NVFP4): KL 발산 0.0181로 cyankiwi의 AWQ(0.0419)보다 우수.

벤치마크 하이라이트

• Muse Glimmer 30B: GPQA-Diamond(63.6 vs 62.1), MMLU-Pro(83.3 vs 83.1), AIME'25(90.0 vs 86.7)에서 BF16 성능과 동등하거나 이를 상회한다. 또한 32K, 64K, 128K 컨텍스트 길이에서 BF16 성능을 유지하는 유일한 4-bit 빌드다.
• Qwen3.5-4B: 테스트된 4-bit 빌드 중 AIME'25(74.2)와 GPQA-Diamond(77.9)에서 최고 점수를 기록했다.
• Gemma 4 E4B/12B: 테스트된 모든 다운스트림 벤치마크에서 Google의 QAT를 능가한다. H100 하드웨어에서 vLLM의 Machete 커널을 사용할 경우 E4B의 배치 처리량이 +36% 증가한다.
• Qwen3.8-27B: 이전에 공개된 NVFP4 체크포인트는 19.7 GB의 메모리 사용량으로 GPQA-Diamond에서 90.9점을 기록했으며, BF16 점수(91.4)와 유사한 수준이다.