Anthropic, Claude API 비용 최적화 위한 `prompt-audit` 등 3대 명령어 공개

Anthropic이 Claude Platform의 비용 및 성능 최적화를 위해 claude-api 스킬을 업데이트하고 가이드를 공개했다. Lance Martin이 작성한 이 가이드는 prompt-audit, cost-optimize, hillclimb 세 가지 주요 명령어를 소개한다.

prompt-audit 명령어는 최신 모델에서 성능을 저하시키는 필수 스크래치패드나 오래된 few-shot 예시 같은 안티 패턴을 워크스페이스에서 스캔한다. 고객 지원 벤치마크에서 Opus 4.8에서 Opus 5.5로 모델을 전환했을 때 비용이 약 18% 절감되었으며, prompt-audit로 안티 패턴을 제거하자 비용이 추가로 9% 줄고 정확도가 약 2%포인트 상승했다.

cost-optimize 명령어는 사용 패턴을 분석해 프롬프트 캐싱, 출력 제한, 배치 처리 등의 최적화 수단을 적용한다. 벤치마크 결과 LegalBench에서는 thinking 토큰이 약 84% 줄고 비용이 약 67% 낮아졌다. tau2-bench retail에서는 통과율 변화 없이 비용이 약 73% 절감됐으며, OfficeQA Pro에서는 점수 변화 없이 비용이 약 72% 낮아졌다. SWE-bench Verified에서는 비용이 약 24% 감소했다.

hillclimb 명령어는 모델과 effort 설정을 반복적으로 탐색하며, 평가 데이터를 train과 test 세트로 나눠 최적의 구성을 찾는다. 고객 지원 벤치마크에서는 이 명령어를 통해 비용을 기존 설정의 5분의 1로 줄이면서 held-out 티켓에 대한 정확도를 개선했다.