Voodoo Dynamic Quant, MIT 라이선스 공개

개발자 curvedinf가 Voodoo Dynamic Quant 도구를 MIT 라이선스로 공개했다. 이 기법은 GGUF 모델의 각 텐서에 대해 최적의 양자화 수준을 동적으로 선택하는 방식으로, 기존 정적 분석(static analysis)과 달리 **경사 하강법(gradient descent)**을 사용한다.

기술적 원리

Voodoo Quant은 모델의 모든 양자화 수준을 동시에 실행하며, 손실(loss)을 최소화하는 조합을 경사 하강법으로 찾는다. 구체적으로는 llama.cpp의 gglm 라이브러리를 통해 변환된 후보 양자화 가중치를 고정하고, 각 텐서와 양자화 수준마다 단일 스칼라 게이트만 학습시킨다. Softmax와 tau 레벨 어닐링을 통해 최종적으로 각 텐서에 가장 적합한 단일 양자화 수준이 선택되도록 유도한다.

성능 및 특징

• 차별점: 역전파(backwards pass)와 경사 하강법을 이용해 양자화 수준을 최적화하는 최초의 공개 방법론으로 평가된다.
• 성능 비교: 중간 및 높은 양자화 수준에서는 비공개 기법인 Unsloth Dynamic 3.0이 더 우수할 수 있으나, 공격적인(aggressive) 낮은 양자화 수준에서는 Voodoo Quant이 더 나은 성능을 보인다.
• 한계: 현재까지 소규모 모델(Qwen3.5 등)에서만 검증되었으며, 대규모 모델에 대한 연구는 진행 중이다.

활용

GitHub 저장소에는 Qwen 아키텍처를 기준으로 한 완전한 도구 세트가 포함되어 있으며, 다른 모델 아키텍처에도 빠르게 적용할 수 있도록 설계되었다. 저자는 이 도구가 저사양 VRAM 환경에서의 로컬 모델 성능 향상에 기여할 것으로 기대하고 있다.