NVIDIA, KV 캐시 압축 툴킷 공개

LLM의 컨텍스트 윈도우가 확장됨에 따라 KV 캐시(KV Cache) 메모리 사용량이 선형적으로 증가하는 문제가 발생하고 있다. 예를 들어, Llama 3-70B 모델을 1M 토큰 컨텍스트로 구동할 경우 KV 캐시만 약 330GB의 메모리를 점유하여 실제 서비스 적용이 매우 어렵다.

NVIDIA가 개발한 KVPress는 이러한 메모리 병목을 해결하기 위한 Python 기반 툴킷이다. 최신 KV 캐시 압축(Compression) 기술들을 모듈식으로 제공하여 연구자와 개발자 모두가 효율적으로 긴 컨텍스트를 다룰 수 있도록 돕는다.

주요 특징은 다음과 같다:

• 최첨단 압축 기술: 다양한 최신 압축 기법(Presses)을 지원한다.
• 양자화 통합: Transformers 라이브러리의 **KV 캐시 양자화(Quantization)**와 연동하여 메모리 효율을 극대화할 수 있다.
• 유연한 프레임워크: 연구자를 위한 모듈형 구조와 개발자를 위한 빠른 통합 환경을 동시에 제공한다.