Vercel Drains로 AI Gateway 트레이스 내보내기

AI Gateway가 모든 요청에 대해 OpenTelemetry 트레이스를 생성한다. Pro 및 Enterprise 팀은 Vercel Drains를 통해 OTLP/HTTP 호환 엔드포인트로 트레이스를 전송할 수 있으며, Braintrust, Dash0, Kubiks, Sentry, Statsig와의 네이티브 통합도 지원한다.

각 트레이스에는 전체 요청 처리 과정과 함께 다음 정보가 포함된다.

• 모델 및 provider 라우팅
• fallback 및 재시도 시도
• 토큰 사용량과 비용
• 첫 토큰 생성 시간, 전체 요청 시간, 응답 상태
• 프로젝트, 배포, API 키, 환경, 사용자 지정 태그 정보

Trace Drain에는 prompt나 completion 내용이 포함되지 않는다. 또한 샘플링 설정으로 각 Drain에 내보낼 트래픽 비율을 조절할 수 있다.

비용은 Drain별로 전달된 트레이스 1,000건당 $0.05이며, 데이터 전송에는 표준 Drains 요금인 GB당 $0.50가 추가된다. AI Gateway가 여러 provider를 시도하더라도 성공적으로 전달된 Drain 기준으로 요청 1건만 과금되며, 전달 실패 건에는 트레이스 요금이 부과되지 않는다.