TurboQuant 정확도·성능 평가
A First Comprehensive Study of TurboQuant: Accuracy and Performance
·2026.05.15 05:59
vLLM은 FP8 KV-cache를 기본값으로, TurboQuant 고비트는 실익이 작다고 정리했다.
vLLM의 비교 결과, --kv-cache-dtype fp8가 KV-cache 양자화의 기본값으로 가장 안정적이었다. 2배 용량을 확보하면서 정확도 손실은 거의 없었고, BF16과의 성능 차이도 대부분 크지 않았다.
TurboQuant k8v4는 2.4배 수준의 절감에 그쳤지만, 처리량과 지연 시간은 꾸준히 악화됐다.TurboQuant 4bit-nc는 KV-cache 메모리 압박이 큰 환경에서는 실용적이지만, 정확도와 성능 비용이 있었다.k3v4-nc와 3bit-nc는 추론과 초장문 컨텍스트에서 정확도 하락이 컸고, latency와 throughput도 크게 떨어졌다.
결론적으로, 범용 서빙에서는 FP8이 여전히 가장 무난한 선택이고, TurboQuant는 메모리가 병목인 엣지 또는 제한된 환경에서만 제한적으로 고려할 만하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.