KVarN: Huawei가 개발한 vLLM 네이티브 KV-cache 양자화 백엔드

KVarN(Variance Normalized KV-Cache)은 에이전트 및 롱 컨텍스트 워크로드를 위해 설계된 vLLM용 네이티브 어텐션 백엔드입니다.

기존 KV-cache 양자화 방식은 용량을 늘리는 대신 처리량이 감소하거나 정확도가 떨어지는 트레이드오프가 있었으나, KVarN은 이를 동시에 해결합니다. 주요 특징은 다음과 같습니다:

• 성능 및 용량: FP16 대비 3~5배 더 큰 KV-cache 용량을 제공하며, 최대 약 1.3배의 처리량을 달성합니다.
• 높은 정확도: FP16 수준의 정확도를 유지하며, 기존 TurboQuant 방식보다 약 2.4배 높은 처리량을 보여줍니다.
• 사용 편의성: 별도의 캘리브레이션(calibration)이 필요 없는 플러그 앤 플레이(plug-and-play) 방식을 지원합니다. 모델 변경 없이 vLLM 설정에서 플래그 하나만 추가하면 즉시 적용할 수 있습니다.

KVarN은 vLLM의 포크(fork) 형태로 제공되며, Triton 커널을 사용하여 런타임에 JIT 컴파일 방식으로 동작합니다.