ReFreeKV: 적응형 KV Cache 압축 기술

기존의 KV Cache Pruning 기술은 최적의 성능을 위해 입력 도메인이나 길이에 따른 **사전 정의된 임계값(Threshold)**이 필요하다는 한계가 있었습니다. 이는 입력 데이터의 성격이 다양할 경우 성능 저하를 야기하는 원인이 됩니다.

새롭게 제안된 ReFreeKV는 이러한 제약을 제거하고, 입력에 따라 예산을 적응적으로 할당하는 'Threshold-free' 방식을 채택했습니다. 이를 통해 전체 캐시를 모두 사용할 때와 유사한 성능을 유지하면서도 메모리 사용량을 효율적으로 줄일 수 있습니다.

주요 특징 및 성과:

• 적응형 예산 할당: 입력의 복잡도와 길이에 관계없이 최적의 압축 비율을 스스로 결정합니다.
• 광범위한 검증: 13개의 다양한 데이터셋을 통해 컨텍스트 길이, 작업 유형, 모델 크기에 관계없는 효용성을 입증했습니다.
• 효율성: 메모리 소비를 줄이면서도 모델의 추론 성능 저하를 최소화합니다.