AI Gateway, 통합 Fast Mode 지원 추가

AI Gateway가 모든 모델에 대해 동일한 방식으로 요청할 수 있는 통합 Fast Mode 추상화 기능을 베타 버전으로 도입했다. 사용자가 speed: 'fast' 설정을 사용하면, 게이트웨이는 해당 모델의 빠른 티어(Fast tier)가 사용 가능한 경우 이를 우선적으로 제공하고, 불가능할 경우 표준 속도로 자동 전환(Fallback)한다.

Fast Mode의 주요 특징은 다음과 같다:

• 성능 최적화: 토큰당 비용은 다소 높아지지만, 지연 시간(Latency)을 낮추거나 처리량(Throughput)을 높일 수 있다.
• 유연한 구현: 특정 제공업체를 고정하거나 직접 연결할 필요 없이, 설정 하나로 사용 가능한 빠른 경로를 활용한다.
• 두 가지 요청 방식: providerOptions.gateway.speed 설정을 통해 기본 모델 ID를 유지하며 속도를 높이거나, anthropic/claude-opus-5-fast와 같이 빠른 변형 모델의 Fast Slug를 직접 지정할 수 있다.

현재 Fast Mode는 지원 모델이 계속 늘어나고 있으며, 모델 목록에서 번개 모양 아이콘으로 확인할 수 있다. 또한 Claude Code와 같은 코딩 에이전트에서도 /fast 명령어나 모델 구성을 통해 이 기능을 즉시 활용할 수 있다.