Vercel AI Gateway, 더 빠른 자동 페일오버를 위한 타임아웃 설정 지원

Vercel AI Gateway가 인퍼런스별 타임아웃(timeout) 설정을 지원한다. 이를 통해 제공업체의 기본 설정보다 더 빠르게 응답이 없는 요청을 중단하고, 다음 가용 제공업체로 자동 **페일오버(failover)**할 수 있다.

현재 이 기능은 BYOK(Bring Your Own Key) 자격 증명에 대해서만 베타 버전으로 제공되며, 시스템 제공업체 타임아웃 지원은 곧 추가될 예정이다. 다만, 일부 제공업체는 스트림 취소를 지원하지 않아 타임아웃된 요청에 대해 비용이 청구될 수 있으니 주의가 필요하다.

사용자는 providerOptions.gateway 내의 providerTimeouts 설정을 통해 밀리초 단위로 타임아웃을 지정할 수 있다. 또한 order 옵션과 함께 사용하면 제공업체 실행 순서와 페일오버 속도를 정교하게 제어할 수 있다.