2비트 KV 캐시 양자화 기술 'OSCAR' 공개

2비트 KV 캐시 양자화를 위한 새로운 기술인 OSCAR(Offline Spectral Covariance-Aware Rotation)가 공개되었다. 이 기술은 소량의 캘리브레이션 세트를 통해 Q/K/V 활성화 값을 포착하고, 어텐션 기반의 K/V 공분산을 오프라인에서 추정하여 각 레이어별 직교 회전(Orthogonal Rotation)을 적용한다.

주요 특징은 다음과 같다.

• 메모리 효율성: KV 캐시의 메모리 점유율을 약 7배 압축할 수 있다.
• 성능 유지: GPQA 벤치마크 기준, 밀집 추론 모델(Dense reasoning models)에서 한 자릿수 퍼플렉시티(pp) 수준의 미미한 정확도 하락만을 보인다.
• 사용 편의성: 사전 계산된 회전 행렬(.pt 파일)을 제공하여, 사용자가 직접 복잡한 고유값 분해(Eigendecomposition)를 수행할 필요 없이 즉시 적용 가능하다.

현재 Qwen3(4B, 8B, 32B) 및 GLM-4.7-FP8 모델에 대해 최적화된 회전 행렬이 제공되고 있다.