Uber, AI 에이전트 비용 구조 분석 및 최적화로 세션당 비용 52% 절감

• Uber는 2026년 2~8월 주간 활성 사용자 7배, 에이전트 요청 9.4배 증가에도 모델을 하나로 고정해 비교했을 때 1,000회 요청당 비용 34%, 세션당 비용 52% 절감 달성
• 총 비용 = 사용자 수 × 세션 수 × 턴 수 × 요청 수 × 토큰 수 × 토큰 단가 공식으로 낭비 요인(턴, 요청, 토큰) 20%씩 줄이면 총 비용 49% 절감 효과
• 오케스트레이터와 서브에이전트 모델 분리, 프롬프트 캐시 TTL 분리, MCP 도구 스키마 최적화로 컨텍스트 재전송 및 낭비 토큰 제거
• Amazon Bedrock의 비용 할당 태그, 모델 호출 로깅, OpenTelemetry 기반 실시간 비용 추적 및 예산 임계 알림 체계 구축

비용 최적화 전략

• 서브에이전트 모델 하향: Claude Code는 Opus/Sonnet 5.5 오케스트레이터와 Haiku 5.5 서브에이전트 분리, Codex는 GPT-6 Sol과 Luna 분리
• 컨텍스트 관리: 40만 토큰 자동 컴팩션, 1시간/5분 캐시 TTL 분리, 100개 이상 도구 시 5만~7만 토큰 낭비 방지용 도구 검색 활성화
• 그라운딩 강화: 컨텍스트 그래프 조회 시 38초 정답 도출, 그래프 부재 시 20분 소요 및 오류 발생 사례로 핵심 컨텍스트 기록 중요성 확인

AWS Bedrock 활용 및 제약

• 비용 추적: 애플리케이션 추론 프로필 비용 할당 태그, 모델 호출 로깅, CloudWatch 실시간 지표, OTel 세션 데이터 4원천 수집
• 알림 체계: AWS Budgets와 Amazon SNS 연동으로 50/80/100% 예산 임계 Slack 알림, Cost Anomaly Detection으로 급증 탐지
• 주의 사항: 1시간 캐시 TTL은 입력 단가 2배, 배치 추론은 도구 호출 미지원, Claude 5.5 모델은 Standard 티어만 지원