AI Briefing#prompt-caching
#prompt-caching와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#prompt-caching와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Prefixwise v0.10.0이 LLM 프롬프트 캐시 미스를 진단하고 수정했다
AI Gateway와 AI Studio로 LLM 및 Agent 호출을 통합 관리하며 비용과 보안을 통제한다.
모델 전환과 MCP 서버 추가는 캐시를 무효화하지만 파일 편집은 아니며 구독 기본 TTL은 1시간이다
OpenAI가 12시간 프롬프트 캐싱과 Decisions API로 AI 비용을 절감했다.
당근은 GPT-5.6 전환 후 자동 캐시 규칙 변경으로 비용이 3.2배 늘자 명시적 구분점을 추가해 비용을 5분의 1로 줄였다.
Uber의 AI 에이전트 비용 절감 사례와 Amazon Bedrock을 활용한 토큰 비용 측정 및 최적화 전략을 정리한 글이다.
Cloudflare가 프롬프트 캐싱 최적화로 AI 코드 리뷰 비용을 68% 낮췄다
하네스 수정으로 인한 캐시 미스가 에너지 소비를 최대 2.5배까지 증가시킨다.
LangChain이 Deep Agents에 도구 바인딩과 런타임 고정 기능을 추가해 스킬 관리 효율성을 높였다.
OpenAI가 GPT-6 모델의 프롬프트 캐싱 효율을 높이기 위해 명시적 캐시 브레이크포인트, 프리워밍, 진단 대시보드 등 새로운 기능과 가이드를 공개했다.
Claude Code 서브 에이전트의 기본 5분 캐시 TTL을 1시간으로 변경해 긴 도구 호출 후 발생하는 컨텍스트 재작성 비용을 줄이는 최적화 방법이 공개됐다.
Claude Code가 서브 에이전트 종료 후 후속 요청 시 프롬프트 캐시를 재사용하지 않아 거의 전체 컨텍스트를 재작성하며 과금하는 문제가 보고됐다.
Claude Code의 프롬프트 캐시 TTL 관리와 Amazon Bedrock 등 클라우드 환경에서의 조직 비용 통제 방법을 제시했다.
Anthropic이 지연 시간과 비용을 줄이는 단일 에이전트 기반 커머스 에이전트 가이드를 공개했다.
Claude Code는 컨텍스트 크기에 비례해 과금되므로, 프롬프트 캐싱 적중률을 높이고 /clear, /compact 등 세션 관리 명령어를 적절히 사용해 비용을 최적화해야 한다.
Anthropic이 Claude Enterprise의 비용 통제 및 가시성 확보 가이드를 공개했다.