AI BriefingOSCAR: 2-bit KV Cache 양자화 기술 공개
OSCAR RotationZoo - Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
·2026.06.10 04:00
핵심 내용
KV Cache의 양자화 손실을 줄이기 위해 스펙트럼 공분산 인지 회전을 사용하는 OSCAR 기술이 공개되었습니다.
자세히 보기
LLM 추론 효율성을 높이기 위한 2-bit KV Cache 양자화 기술인 **OSCAR(RotationZoo)**가 발표되었습니다. 이 기술은 Offline Spectral Covariance-Aware Rotation 방식을 사용하여 양자화 과정에서 발생하는 정보 손실을 최소화합니다.
주요 특징 및 제공 자원:
- 지원 모델: Gemma-4-12B-it, Qwen3-32B, Qwen3-4B-Thinking 등 다양한 모델에 대한 INT2 KV 양자화 가중치 제공
- 프레임워크 지원: llama.cpp 및 sglang 환경에서 사용할 수 있는 코드 포함
- 기술적 근거: 관련 연구 논문이 arXiv를 통해 공개되어 기술적 타당성을 뒷받침함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
