Speculative KV coding: KV cache를 최대 ~4배까지 무손실 압축하기

LLM 컨텍스트가 길어짐에 따라 **KV 캐시(KV cache)**의 크기가 메모리 점유 및 데이터 이동의 주요 병목 현상으로 부상하고 있습니다. 기존의 TurboQuant와 같은 방식은 비트 폭을 줄이는 손실 압축을 사용하지만, 이는 모델의 성능 저하를 사전에 예측하기 어렵다는 한계가 있습니다.

Speculative KV coding은 예측 모델을 활용하여 KV 캐시를 **무손실(lossless)**로 압축하는 새로운 방법론을 제시합니다.

주요 작동 원리:

• 예측 모델(Predictor Model) 활용: 대상 모델보다 가볍고 빠른 모델이 동일한 프롬프트에 대해 대상 모델의 캐시를 미리 예측합니다.
• 산술 부호화(Arithmetic Coding): 예측 모델이 실제 캐시를 얼마나 잘 맞추느냐에 따라, 실제 캐시 값을 예측값과의 차이만큼만 인코딩합니다.
• Speculative Decoding과의 유사성: 예측 모델이 실제 결과에 가까울수록 압축 효율이 높아지는 구조로, Speculative Decoding의 원리를 캐시 압축에 적용했습니다.

이 기술을 통해 KV 캐시를 최대 약 4배까지 압축할 수 있으며, 모델의 품질 저하 없이 메모리 효율성을 획기적으로 높일 수 있습니다.