AI BriefingOpenBonsai, Qwen3.5-9B를 1.997 GB 삼항 GGUF로 압축
I open-sourced OpenBonsai: compress your own BF16 models and fine-tunes into ~2 GB ternary GGUFs
·2026.10.29 17:13
핵심 내용
OpenBonsai가 Qwen3.5-9B 모델을 1.997 GB 삼항 GGUF로 압축했다
자세히 보기
- OpenBonsai는 BF16 모델을 삼항 가중치(-1, 0, +1)를 사용해 Prism의 PTQ1_0 GGUF 포맷으로 압축하는 Apache-2.0 프레임워크임
- Qwen3.5-9B 모델을 단일 RTX 5090(32 GB)에서 약 5시간 만에 약 18 GB에서 1.997 GB로 압축함
- 파이프라인은 Signed Hadamard 회전, Sequential GPTQ, FP16 그룹 스케일, 자체 생성 추론 추적을 캘리브레이션에 활용함
- 현재 압축 모델은 GSM8K(생각 모드 꺼짐)에서 65/100점, HumanEval(생각 모드 꺼짐)에서 34/50점을 기록하며 Prism 공식 모델보다 낮은 성능을 보임
- 리서치 프리뷰 상태로, 압축에는 32 GB GPU가 필요하고 추론에는 Prism의 llama.cpp 포크가 요구되며, 업스트림 llama.cpp 및 WebGPU는 아직 지원되지 않음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
