AI BriefingUnsloth, Qwen3.8-27B용 Dynamic V3.1 양자화 및 1비트 데이터 타입 출시
·2026.11.14 09:06
핵심 내용
Unsloth가 Qwen3.8-27B용 Dynamic V3.1 양자화와 1비트 데이터 타입을 출시했다.
자세히 보기
- Unsloth가 Qwen3.8-27B용 Dynamic V3.1(프리뷰) 양자화를 출시하여 동일 파일 크기에서 이전 버전 대비 평균 정확도를 5-10% 향상시킴
- 새로운 1비트 데이터 타입(UD-IQ1_XXXS)이 llama.cpp의 IQ1_S를 1.1875 bpw까지 확장하여 2.4T 파라미터 모델인 Qwen3.8-2.4T-A95B를 397GB로 축소함
- Qwen3.8-27B의 NVFP4 양자화는 NVIDIA Blackwell GPU에서 BF16 대비 1.49배 속도 향상을 달성하면서 Top-1 정확도 92-97%를 유지함
- Qwen3.8-27B는 256K 컨텍스트 윈도우를 지원하며(YaRN으로 1M까지 확장 가능) 17GB RAM/VRAM 환경에서 로컬 실행 가능함
Quantization Performance
- Dynamic V3.1은 LiveCodeBench 및 AIME25 벤치마크에서 GSQ-RCO와 ISTA 메서드보다 우수한 성능을 보이며, UD3.1은 UD3보다 추가적인 개선을 나타냄
- UD3.1과 동등한 성능을 보여 3비트 UD3 양자화는 V3.1 업데이트에서 제외됨
- NVFP4는 NVIDIA Blackwell GPU(RTX 50X, B200, B300)가 필요하며 현재 vLLM만 지원함
Hardware and Configuration
- Qwen3.8-27B 4비트 양자화는 16-19GB 메모리를 필요로 하며 RTX 5080, 4090 또는 24GB RAM Mac에 적합함
- Qwen3.8-2.4T-A95B는 권장되는 397GB IQ1_XXXS 양자화를 위해 최소 450GB RAM이 필요함
- Thinking 모드는 temperature 1.0과 top_p 0.95를, non-thinking 모드는 temperature 0.7과 top_p 0.80을 사용함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
