라우터(웹사이트)

Router는 단일 엔드포인트와 API 키를 통해 다양한 AI 모델을 통합 관리하여 **추론 비용(inference cost)**을 절감하는 플랫폼이다. 성능 요구 사항을 충족하는 가장 저렴한 모델을 자동으로 매칭하여 평균 40%의 비용 절감 효과를 제공한다.

현재 Anthropic, OpenAI, Grok, Fireworks 등 주요 프로바이더를 지원하며, AWS, Google, together.ai 등은 조만간 추가될 예정이다. 2026년까지 무료 라우팅 서비스와 함께 $26 상당의 모델 크레딧을 제공한다.

엔지니어링 팀은 워크로드에 최적화된 모델을 사용하고, 재무 팀은 지출을 줄이는 효과를 누릴 수 있다. 실제 비교 테스트에서 일반 프런티어 모델 대비 $297.85였던 비용을 $45.62까지 낮추는 결과를 보였다.