모든 AI Gateway 사용량을 위한 통합 리포팅

AI Gateway의 Custom Reporting API가 Pro와 Enterprise 플랜을 대상으로 베타로 공개됐다. 이제 여러 provider, key, dashboard에 흩어진 cost, token usage, request volume을 하나의 endpoint에서 조회할 수 있다.

BYOK 요청까지 포함해 모델, provider, user ID, custom tag, credential type 기준으로 비용을 쪼갤 수 있다. 덕분에 feature별, 고객별, 요금제별 사용량과 지출을 운영 데이터처럼 다룰 수 있고, Claude Code로도 실시간 질의가 가능하다.

사례로, 20만+ 사용자를 처리하는 한 AI platform은 private beta 기간에 별도 proxy layer를 없애고 cost tracking과 request management를 하나로 합쳐 **$80K+**를 절감했다. 이후에는 Advanced Reporting과 custom tags, user ID를 활용해 고객별 사용량과 비용을 모델 전반에서 추적하고 있다.

핵심은 요청마다 user와 tags를 붙여 제품과 재무 팀이 이해할 수 있는 단위로 비용을 읽는 것이다.

• customer ID, plan, feature 기준으로 요청을 태깅
• AI SDK, Chat Completions API, Responses API, OpenResponses API, Anthropic Messages API 지원
• BYOK와 system credentials 모두를 같은 reporting endpoint에서 집계
• 주기적으로 조회해 budget, margin, pricing decision에 활용

이제 AI 지출은 사후 정산이 아니라 운영 지표가 된다. 단일 reporting endpoint로 트래픽을 모아두면, 비용 급증을 청구서보다 먼저 발견하고 기능별 단가와 수익성을 실제 데이터로 판단할 수 있다.