AI Gateway에서 서비스 티어(Service Tiers) 기능 지원 시작

AI Gateway가 사용자의 워크로드 특성에 맞춰 성능과 비용을 최적화할 수 있는 서비스 티어(Service Tiers) 기능을 지원하기 시작했다. 사용자는 대화형 워크로드를 위한 빠른 티어부터 백그라운드 작업을 위한 저비용 티어까지 자유롭게 선택할 수 있다.

현재 서비스 티어는 OpenAI와 Gemini 모델을 대상으로 제공되며, AI SDK, Chat Completions API, Anthropic Messages API 등 모든 AI Gateway API 형식을 통해 사용할 수 있다. 각 요청에 사용된 티어에 따라 과금 방식이 자동으로 조정된다.

제공되는 티어는 다음과 같이 세 가지로 구분된다:

• default: 표준 처리 방식
• priority: 비용은 높지만 더 빠른 처리 속도 제공
• flex: 비용은 낮지만 지연 시간이 발생할 수 있음

사용자는 providerOptions.gateway 내에 serviceTier를 설정하여 간편하게 적용할 수 있다. 특정 모델을 여러 제공자가 서비스할 경우, 특정 제공자(예: Vertex AI)에만 별도의 티어를 설정하는 것도 가능하다. 서비스 티어는 최선 노력(Best-effort) 기반으로 작동하며, 적용이 불가능할 경우 기본 티어로 실행된다.