Hugging Face, 서버리스 추론 통합

Hugging Face가 fal, Replicate, Sambanova, Together AI 등 4개의 주요 서버리스 추론 제공업체를 Hub의 모델 페이지에 직접 통합했다. 이를 통해 개발자는 다양한 모델의 서버리스 추론을 더욱 쉽게 탐색하고 활용할 수 있게 되었다.

주요 기능 및 특징:

• 사용자 맞춤형 설정: 사용자는 설정에서 각 제공업체의 API 키를 직접 등록하여 사용할 수 있으며, 선호하는 제공업체 순서로 위젯을 정렬할 수 있다.
• 두 가지 호출 모드: 제공업체의 API 키를 사용하는 'Custom Key' 방식과, Hugging Face 계정을 통해 비용을 결제하고 별도 키 없이 사용하는 'Routed by HF' 방식을 모두 지원한다.
• SDK 통합: Python용 huggingface_hub(v0.28.0 이상) 및 JS SDK를 통해 코드 몇 줄로 특정 제공업체의 인프라를 호출할 수 있다.

이번 업데이트로 DeepSeek-R1과 같은 최신 모델을 다양한 인프라 환경에서 즉시 테스트하고 프로토타이핑할 수 있는 환경이 구축되었다.