Salesforce, 추론 모델용 KV 캐시 eviction 정책 'Random Attention' 공개

Salesforce AI Research가 추론(reasoning) 모델의 KV 캐시 eviction을 위한 새로운 정책인 Random Attention을 공개했다. 기존 방식이 attention score나 value statistics 같은 신호에 의존했던 것과 달리, Random Attention은 생성된 토큰 중 uniformly random per-KV-head subset을 유지하는 방식을 채택했다.

이 방법은 calibration data가 필요 없으며, eviction 라운드 비용이 실제 compaction 연산에만 발생한다. MATH-500, GPQA-Diamond, AIME 등 주요 벤치마크에서 SnapKV, R-KV 등 학습된 selector들과 동등하거나 더 나은 성능을 보이면서도, Hugging Face 및 vLLM 스택에서 가장 빠른 evictor로 평가받았다.

지원 모델은 Qwen3-4B/14B/32B와 Phi-4-reasoning이며, 코드는 Apache 2.0 라이선스로 GitHub에 공개되었다. 연구팀은 8x H200 GPU 환경에서 실험을 진행했으며, vLLM 0.19 런타임 내 구현을 포함하고 있다.