AI Gateway에서 라우팅 규칙(Routing rules) 사용 가능

Vercel AI Gateway가 새로운 라우팅 규칙(Routing rules) 기능을 지원합니다. 이 기능은 방화벽 방식의 규칙을 적용하여, 애플리케이션 코드를 수정하지 않고도 게이트웨이 레벨에서 팀이 사용하는 모델을 직접 제어할 수 있게 해줍니다.

라우팅 규칙은 크게 두 가지 유형으로 나뉩니다.

• Rewrite (재작성): 특정 모델에 대한 요청을 다른 모델로 즉시 전환합니다. 모델 장애 시 트래픽을 우회하거나, 비용 절감을 위해 고가 모델을 저가 모델로 교체할 때 유용합니다.
• Deny (거부): 특정 모델에 대한 요청을 차단합니다. 승인되지 않은 모델의 사용을 제한할 때 사용하며, 요청 시 403 에러를 반환합니다.

모든 규칙은 Vercel CLI를 통해 관리할 수 있습니다. 라우팅 규칙은 모델 전환 기능만 수행하며, BYOK, model fallbacks, Zero Data Retention 등 기존에 설정된 다른 모든 구성 요소는 대상 모델에도 동일하게 적용됩니다.