llama-cpp-turboquant, ConvRot 양자화 지원

ConvRot Quant method now in llama-cpp-turboquant

·2026.08.24 10:16

핵심 내용

llama-cpp-turboquant에 ConvRot 양자화 방식이 추가되어 Q6 양자화 모델의 품질이 Q8 수준에 근접했다.

llama-cpp-turboquant 프로젝트에 ConvRot 양자화 방식이 공식적으로 통합되었습니다. 이 방식을 적용하면 Q6 양자화 모델의 KLD/PPL 지표가 Q8 양자화에 거의 도달하는 수준으로 품질이 향상됩니다.

또한 기존 Q6와 Q5 양자화 대비 Q6_CR 및 Q5_CR 버전이 미세한 성능 개선을 보였습니다. VRAM 용량보다 큰 MoE 모델을 실행할 때 유용한 --moe-cache auto 옵션도 함께 제공됩니다.

이 업데이트는 turbo4/3/2 양자화에서 손실된 품질을 회복하는 데 기여할 것으로 기대되며, 초기 발생했던 디코딩 및 크래시 문제는 현재 해결된 상태입니다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.