OpenAI, GPT-6 모델용 프롬프트 캐싱 최적화 가이드 및 진단 도구 공개

OpenAI가 GPT-6 모델의 프롬프트 캐싱(Prompt Caching) 성능을 최적화하기 위한 새로운 기능과 가이드를 공개했다. 주요 기능으로는 재사용할 프롬프트 접두어를 명시적으로 선택할 수 있는 Explicit Cache Breakpoints, 애플리케이션 시작 시 공유 지침과 도구 정의를 사전 처리하여 지연 시간을 줄이는 Prewarming, 그리고 GPT-6 모델 간 응답 시 캐시를 깨지 않고 추론 노력(reasoning effort)을 조정할 수 있는 기능이 포함된다.

또한, 캐시 서빙 비율을 추적하는 Prompt Caching Dashboard와 예상치 못한 캐시 미스 원인을 분석하는 Diagnostics Tool을 통해 개발자들이 캐싱 문제를 진단하고 해결할 수 있도록 지원한다.

고객사 적용 사례

• Codex: OpenAI의 진단 도구와 대시보드를 활용해 캐시 적중률을 몇 퍼센트 포인트(p.p) 개선하고 비용을 20% 절감했다. Arian Hanifi CTO는 이를 통해 백그라운드 작업을 위해 대화 포크를 생성하면서도 공유 컨텍스트를 재사용하는 것이 경제적으로 가능해졌다고 밝혔다.
• Manus: OpenAI 엔지니어링 팀과 협력하여 캐시 브레이크포인트 배치를 개선하고, 1주 미만 기간에 캐시 적중률을 약 85%에서 90% 이상으로 상승시켰다. Bin Fan 팀 리더는 이를 통해 프로덕션 환경의 추론 비용을 추가로 낮췄다고 전했다.
• Strawberry Browser: 세션 에이전트를 명시적 캐시 브레이크포인트로 전환하여 1주 미만 기간에 평가 기준 캐시 적중률을 83%에서 **91%**로 높였다. Eugene Mikhantyev AI 엔지니어는 캐시 쓰기량이 약 2/3 감소하고 추론 비용이 36% 절감되었다고 보고했다.