Qwen3.6-27B IQ4_XS 회귀

Qwen3.6-27B IQ4_XS FULL VRAM with 110k context

·2026.04.28 21:59

핵심 내용

llama.cpp 회귀로 Qwen3.6-27B IQ4_XS 용량이 14.7GB에서 15.1GB로 늘었다.

Qwen3.6-27B IQ4_XS GGUF가 Qwen3.5 버전의 14.7GB에서 15.1GB로 커져 16GB VRAM 환경의 여유가 줄었다.

원인으로 지목된 llama.cpp 커밋 1dab5f5a44는 attn_qkv 레이어의 quantization을 최소 Q5_K로 강제했다.
저자는 해당 변경을 되돌려 원래 IQ4_XS 레이어 구성을 1:1로 복원했다.
mradermacher의 imatrix로 비교한 결과, 유의미한 품질 저하는 확인되지 않았다.
pg19.txt 기반의 65k context PPL 테스트와 KV cache 실험도 함께 진행됐다.
수정본 cHunter789/Qwen3.6-27B-i1-IQ4_XS-GGUF가 Hugging Face에 공개됐다.