AI Gateway에서 제공자를 비용·지연·처리량 기준으로 정렬

AI Gateway는 기본적으로 제공자의 신뢰성, 출력 품질, 비용, 응답 속도를 함께 반영해 순서를 정하지만, 이제 sort로 우선 기준을 직접 지정할 수 있다. providerOptions.gateway.sort에는 cost, ttft, tps를 넣는다.

• cost: 표시된 입력 토큰 100만 개당 가격이 낮은 순
• ttft: median time to first token이 낮은 순
• tps: median tokens per second가 높은 순

순위는 요청 시점에 계산되므로 새 제공자 추가, 가격 변경, 관측된 latency와 throughput 변화가 코드 변경 없이 자동 반영된다. GPT OSS 120B처럼 제공자가 5개가 넘고 비용 차이가 큰 모델에서는 sort: 'cost'로 가장 저렴한 제공자를 먼저 시도할 수 있다.

제공자는 정렬된 순서대로 시도되며, 상위 제공자가 unavailable할 때만 다음 제공자로 fallback한다. zeroDataRetention과도 함께 동작해 Deepseek V4 Pro처럼 ZDR 제공자만 먼저 고른 뒤 ttft 기준으로 다시 정렬할 수 있다. order를 함께 쓰면 지정한 제공자를 앞에 두고, 나머지를 sort 기준으로 이어서 배치한다.

응답 메타데이터의 sort block에는 고려된 제공자, 사용한 metric 값, 실제 시도 순서, degraded health로 뒤로 밀린 제공자까지 담긴다.