AI Briefing당근, GPT-5.6 교체 후 캐시 히트율 2.3%로 떨어져 LLM 비용 3.2배 증가
·2026.10.21 18:28
핵심 내용
당근은 GPT-5.6 전환 후 자동 캐시 규칙 변경으로 비용이 3.2배 늘자 명시적 구분점을 추가해 비용을 5분의 1로 줄였다.
자세히 보기
- GPT-5.6으로 모델 교체 후 캐시 히트율이 85.8%에서 2.3%로 떨어져 요청당 비용이 3.2배 증가함
- GPT-5.6 이후 모델은 자동 캐시 구분점이 이전의 2,048토큰 간격에서 가장 최근 메시지 끝으로 변경되어, 고정 지시문과 가변 입력이 섞인 요청에서 캐시가 작동하지 않음
- 고정부와 가변 입력 경계에 명시적 구분점(prompt_cache_breakpoint)을 추가하고 프롬프트 구조를 조정해 히트율을 95% 수준으로 회복하고 비용을 약 5분의 1로 절감함
- OpenAI, Anthropic, Gemini의 프롬프트 캐시 최소 길이, 유지 시간, 쓰기 할증 정책이 상이하며, 모델 교체 시 캐시 히트율과 비용을 운영 지표로 모니터링해야 함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
