DeepSeek API, 디스크 기반 컨텍스트 캐싱 도입으로 비용 90% 절감

LLM API 사용 시 발생하는 반복적인 입력값 문제를 해결하기 위해 DeepSeek가 디스크 기반 컨텍스트 캐싱(Context Caching on Disk) 기술을 도입했다. 이 기술은 반복되는 입력 내용을 분산 디스크 어레이에 캐싱하여, 동일한 내용이 입력될 경우 재계산 없이 즉시 불러오는 방식이다.

캐시 히트(Cache hit) 발생 시 비용은 100만 토큰당 $0.014로, 기존 대비 최대 **90%**까지 비용을 낮출 수 있다. 성능 측면에서도 큰 이점이 있다. 128K 규모의 긴 프롬프트를 사용할 경우, 첫 번째 토큰 생성 지연 시간(First token latency)이 13초에서 500ms로 대폭 단축된다.

사용자는 별도의 코드 수정 없이 서비스를 이용할 수 있으며, 입력값의 **접두사(Prefix)**가 동일할 경우 자동으로 캐시가 적용된다. 주요 활용 사례는 다음과 같다.

• 멀티턴 대화: 이전 대화 맥락을 캐싱하여 다음 답변 속도 향상
• 데이터 분석: 동일한 문서나 파일에 대한 반복적인 질의
• 코드 및 역할극: 방대한 코드 저장소 참조 또는 긴 캐릭터 설정 활용

이번 기술은 DeepSeek V2의 MLA(Multi-head Latent Attention) 아키텍처를 통해 구현되었다. MLA는 KV 캐시의 크기를 획기적으로 줄여 저비용 디스크에 효율적으로 저장할 수 있게 한다. 보안을 위해 각 사용자의 캐시는 논리적으로 격리되며, 사용되지 않는 데이터는 자동으로 삭제된다.