에이전트에서의 Prompt Caching

Prompt Caching은 AI 에이전트를 더 경제적으로 운영할 수 있게 해주지만, 그 구조가 매우 취약하다는 단점이 있다. 도구(Tool) 정의가 변경되거나, 모델을 교체하거나, 혹은 서비스 제공자의 라우팅 결정이 바뀌는 것만으로도 저렴한 증분 요청이 전체 컨텍스트를 다시 재생성하는 고비용 요청으로 변할 수 있다.

캐시 동작 방식은 단순히 비용뿐만 아니라 다음과 같은 요소들에 직접적인 영향을 미친다.

• Latency(지연 시간)
• Cost(비용)
• Tool Design(도구 설계)
• Session Design(세션 설계)
• Product Features(제품 기능 구현 방식)

본 글에서는 캐시의 작동 원리와 함께, 캐시 성능을 저하시키는 일반적인 원인들을 심도 있게 살펴본다.