Cloudflare, 프롬프트 캐싱으로 AI 코드 리뷰 비용 68% 절감

9월 중순부터 진행한 공격적인 토큰 최적화로 평균 리뷰 비용이 $2.43에서 $0.77로 68% 감소하고, 중앙값 지연 시간이 4분 9초에서 1분 32초로 단축됨
전체 절감액의 40%는 코드 변경에서 발생했으며, 공유 시스템 프롬프트를 캐시에서 읽도록 프롬프트 캐시 브레이크포인트를 수정해 캐시 쓰기가 54%, 읽기가 82% 감소함
모델 및 노력도(effort) 조정이 나머지 60%의 절감에 기여했으며, Sonnet 5.5의 medium effort로 전환해 코드 품질 리뷰당 LLM 호출 횟수를 6.2회에서 1.7회로 줄임
코드 품질 리뷰는 finding 품질 유지를 위해 high effort를 유지했으며, 1,000회 리뷰당 실제 조치된 finding 수는 145에서 132로 안정적으로 유지됨
경미한 이슈를 중요 문제로 잘못 분류하던 현상으로 인한 심각도 과대 보고(severity inflation)가 70% 감소함
신뢰성이 향상되어 판정 없이 종료되는 리뷰 비율이 0.79%에서 0.27%로, 보안 리뷰어 재시도율이 3.5%에서 0.04%로 하락함

핵심 내용