Vercel AI Gateway, 셀프호스팅 및 파인튜닝 모델용 Private Inference 지원

·2026.11.16 09:00

핵심 내용

Vercel AI Gateway가 Private Inference를 지원해 프라이빗 모델 통합 관리를 가능하게 했다.

1 / 4

자세히 보기

  • Vercel AI Gateway가 Private Inference를 지원하여 파인튜닝, 셀프호스팅, 프리릴리스 모델의 커스텀 엔드포인트 연결 가능함
  • 프라이빗 모델은 카탈로그 모델과 동일한 인증, SDK, API, 관측성 도구를 사용해 단일 플랫폼에서 통합 관리함
  • 모델 ID만 변경하면 프라이빗 모델과 카탈로그 모델 간 전환 가능하고, AI Gateway가 요청을 해당 엔드포인트 형식으로 변환함
  • 프라이빗 모델은 특정 Vercel 팀에 스코프되며 공개 카탈로그에 숨겨지고, 프로바이더별 Zero Data Retention을 지원함
  • AI Gateway 대시보드 또는 Vercel CLI 65.16.0 이상에서 private/<slug> ID 형식으로 통합 가능함
  • 로그와 트레이스 드레인에서 프라이빗 모델 요청을 카탈로그 트래픽과 함께 확인하며, 요청 수, 토큰, 첫 토큰 도달 시간(TTFT) 메트릭 제공함
  • 프라이빗 엔드포인트 실패 시 카탈로그 모델로 라우팅하는 선택적 폴백 구성 지원함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.