당신의 KV Cache를 살 수 있을까요?
·2026.06.13 05:14
AI 에이전트의 중복 연산을 줄이기 위해 사전 계산된 KV Cache를 공유 및 거래하는 새로운 인프라 모델을 제안한다.
현재 AI 에이전트들은 동일한 문서를 읽을 때마다 매번 Prefill(사전 채우기) 단계를 반복하며 동일한 KV Cache를 새로 생성하는 비효율성을 보이고 있습니다.
본 논문은 문서 발행자가 KV Cache를 미리 계산해두고, 다른 에이전트들이 이를 불러와 연산을 건너뛸 수 있는 'Prefill CDN' 개념을 제안합니다. 이 방식은 다음과 같은 특징을 가집니다.
- 정확도 손실 없음: 사전 계산된 KV를 로드하는 것은 처음부터 Prefill을 수행하는 것과 토큰 단위에서 완전히 일치합니다.
- 압도적인 비용 절감: Qwen3-4B 모델 테스트 결과, 재사용 시 연산 비용이 Prefill 대비 9~50배 저렴하며, 문서가 길수록 효율이 극대화됩니다.
- 인프라 최적화: KV Cache는 압축이 어렵기 때문에 데이터를 전송하기보다는, 제공자 측(Provider-side)에서 호스팅하여 Egress(데이터 전송) 비용을 제거하는 모델이 가장 효율적입니다.
연구진은 이를 통해 수백만 명의 에이전트에게 동일한 문서를 서비스할 때 발생하는 막대한 컴퓨팅 비용을 획기적으로 줄일 수 있다고 강조하며, 향후 손실 없는 KV 압축과 교차 플랫폼 결제 레이어 구축을 과제로 제시했습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.
