Kimi K3 및 Kimi K3 Fast, ZDR 지원 및 미국 기반 제공업체 AI Gateway 탑재

Moonshot AI의 Kimi K3와 더 빠른 응답 속도를 제공하는 Kimi K3 Fast가 Baseten, Fireworks 등 미국 기반 제공업체를 통해 AI Gateway에서 사용 가능해졌습니다.

이번 업데이트를 통해 데이터 거주 및 컴플라이언스 요구사항이 있는 팀은 미국 인프라 내에서 모델을 운용할 수 있습니다. AI Gateway는 여러 제공업체를 자동으로 라우팅하여 장애 발생 시 페일오버(failover)를 지원하고, 단일 제공업체보다 높은 가용성과 처리량을 보장합니다.

주요 특징은 다음과 같습니다:

• Zero Data Retention (ZDR): 데이터 보안을 위해 요청 시 데이터를 저장하지 않는 ZDR 기능을 지원합니다.
• Kimi K3 Fast: 기본 모델보다 비용은 약 50% 높지만, 더 낮은 지연 시간(latency)을 제공합니다.
• 미국 인프라 추론: inferenceRegion 설정을 통해 미국 데이터 센터로만 요청을 라우팅할 수 있으며, 이 경우 약 10%의 추가 비용이 발생합니다.

개발자는 AI SDK를 통해 모델을 호출하거나, Vercel CLI를 사용하여 코딩 에이전트(coding agents) 설정을 간편하게 완료할 수 있습니다.