Qwen3.6-27B IQ4_XS 회귀
Qwen3.6-27B IQ4_XS FULL VRAM with 110k context
·2026.04.28 21:59
llama.cpp 회귀로 Qwen3.6-27B IQ4_XS 용량이 14.7GB에서 15.1GB로 늘었다.
Qwen3.6-27B IQ4_XS GGUF가 Qwen3.5 버전의 14.7GB에서 15.1GB로 커져 16GB VRAM 환경의 여유가 줄었다.
- 원인으로 지목된
llama.cpp커밋1dab5f5a44는attn_qkv레이어의 quantization을 최소Q5_K로 강제했다. - 저자는 해당 변경을 되돌려 원래
IQ4_XS레이어 구성을 1:1로 복원했다. - mradermacher의 imatrix로 비교한 결과, 유의미한 품질 저하는 확인되지 않았다.
pg19.txt기반의 65k context PPL 테스트와 KV cache 실험도 함께 진행됐다.- 수정본
cHunter789/Qwen3.6-27B-i1-IQ4_XS-GGUF가 Hugging Face에 공개됐다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.