TurboQuant 정확도·성능 평가

vLLM의 비교 결과, --kv-cache-dtype fp8가 KV-cache 양자화의 기본값으로 가장 안정적이었다. 2배 용량을 확보하면서 정확도 손실은 거의 없었고, BF16과의 성능 차이도 대부분 크지 않았다.

• TurboQuant k8v4는 2.4배 수준의 절감에 그쳤지만, 처리량과 지연 시간은 꾸준히 악화됐다.
• TurboQuant 4bit-nc는 KV-cache 메모리 압박이 큰 환경에서는 실용적이지만, 정확도와 성능 비용이 있었다.
• k3v4-nc와 3bit-nc는 추론과 초장문 컨텍스트에서 정확도 하락이 컸고, latency와 throughput도 크게 떨어졌다.

결론적으로, 범용 서빙에서는 FP8이 여전히 가장 무난한 선택이고, TurboQuant는 메모리가 병목인 엣지 또는 제한된 환경에서만 제한적으로 고려할 만하다.