Cloudflare, AI 지출 최적화하는 AI Gateway Auto Router 베타 공개

Cloudflare가 AI Gateway를 통해 Auto Router를 공개 베타 버전으로 출시했다. 이 기능은 작업을 처리할 수 있는 모델 중 가장 비용 효율적인 모델로 요청을 자동으로 라우팅한다. 모델을 cloudflare/auto로 설정하면 사용자가 직접 모델을 선택하지 않아도 토큰 비용을 절감할 수 있다. 내부 일반 지식 업무 벤치마크 테스트에서 cloudflare/auto는 총 비용 $2.10로 **86.6%**의 성공률을 기록했으며, 성공당 비용은 $0.0084였다. 라우터는 Workers AI의 분류기가 요청 복잡도와 카테고리를 분석하고, 벤치마크 결과, 실시간 용량, 캐시 상태를 바탕으로 가용 모델을 순위를 매기는 2단계 프로세스를 사용한다. 이 시스템은 모델 능력의 'jagged frontier'를 활용하여 토큰당 가격만이 아닌 성공당 비용을 최적화한다. 베타 기간 동안 무료로 제공되며, 향후 모델 풀 확장 및 Responses API와 WebSockets 지원 추가를 계획하고 있다.