Unsloth Dynamic 3.0 GGUF 공개

Unsloth는 Dynamic 양자화 기술의 최신 버전인 Dynamic v3.0을 공개했다. 이번 업데이트에서는 Qwen3.8-27B 모델을 대상으로 동일한 크기에 비해 10% 이상 높은 정확도를 달성했다고 밝혔다. 이는 기존 Dynamic v2.0 대비 상당한 성능 향상으로, llama.cpp 및 Unsloth Desktop 등 주요 추론 엔진과 호환된다.

새로운 방법론은 다양한 출처에서 수집된 고품질 imatrix 교정 데이터셋을 활용한다. 이 데이터셋은 에이전트 코딩, 채팅, 다국어 성능을 위해 정제되었으며, 레이어 선택 및 양자화 기법도 개선되었다. 특히 QAT나 QAD 없이 학습 후 양자화(Post-training quantization) 방식으로만 처리되어 과적합 문제를 방지했다.

주요 개선 사항으로는 다음과 같다.

• UD-Q2_K_XL 모델은 다음 최상위 모델보다 8% 높은 정확도를 보이며, HTML 프로그램 생성 시 오류를 줄였다.
• UD-IQ1_S 1-bit 양자화 모델은 크기가 89% 작아졌음에도 약 72%의 정확도를 유지한다.
• 8.37GB 이하의 작은 양자화 모델에서는 디스크 용량 절약을 위해 MTP 모듈을 제거했다.

정확도 평가 지표로는 단일 예측의 top-1% 정확도보다 실제 추론 경로를 더 잘 반영하는 Divergence-300 @32를 도입했다. 이는 300개의 홀드아웃 예제에 대해 32토큰까지의 KL Divergence를 측정하여 BF16 모델과의 유사성을 평가하는 방식이다.