OSCAR: 2-bit KV Cache 양자화 기술 공개
OSCAR RotationZoo - Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
·2026.06.10 04:00
KV Cache의 양자화 손실을 줄이기 위해 스펙트럼 공분산 인지 회전을 사용하는 OSCAR 기술이 공개되었습니다.
LLM 추론 효율성을 높이기 위한 2-bit KV Cache 양자화 기술인 **OSCAR(RotationZoo)**가 발표되었습니다. 이 기술은 Offline Spectral Covariance-Aware Rotation 방식을 사용하여 양자화 과정에서 발생하는 정보 손실을 최소화합니다.
주요 특징 및 제공 자원:
- 지원 모델: Gemma-4-12B-it, Qwen3-32B, Qwen3-4B-Thinking 등 다양한 모델에 대한 INT2 KV 양자화 가중치 제공
- 프레임워크 지원: llama.cpp 및 sglang 환경에서 사용할 수 있는 코드 포함
- 기술적 근거: 관련 연구 논문이 arXiv를 통해 공개되어 기술적 타당성을 뒷받침함
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.