Vercel AI Gateway, 셀프호스팅 및 파인튜닝 모델용 Private Inference 지원
·2026.11.16 09:00
핵심 내용
Vercel AI Gateway가 Private Inference를 지원해 프라이빗 모델 통합 관리를 가능하게 했다.
자세히 보기
- Vercel AI Gateway가 Private Inference를 지원하여 파인튜닝, 셀프호스팅, 프리릴리스 모델의 커스텀 엔드포인트 연결 가능함
- 프라이빗 모델은 카탈로그 모델과 동일한 인증, SDK, API, 관측성 도구를 사용해 단일 플랫폼에서 통합 관리함
- 모델 ID만 변경하면 프라이빗 모델과 카탈로그 모델 간 전환 가능하고, AI Gateway가 요청을 해당 엔드포인트 형식으로 변환함
- 프라이빗 모델은 특정 Vercel 팀에 스코프되며 공개 카탈로그에 숨겨지고, 프로바이더별 Zero Data Retention을 지원함
- AI Gateway 대시보드 또는 Vercel CLI 65.16.0 이상에서
private/<slug>ID 형식으로 통합 가능함 - 로그와 트레이스 드레인에서 프라이빗 모델 요청을 카탈로그 트래픽과 함께 확인하며, 요청 수, 토큰, 첫 토큰 도달 시간(TTFT) 메트릭 제공함
- 프라이빗 엔드포인트 실패 시 카탈로그 모델로 라우팅하는 선택적 폴백 구성 지원함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.