Hugging Face, PRO용 Inference API 출시

Hugging Face가 PRO 구독자를 대상으로 최신 모델에 대한 고속 추론 API를 제공하는 Inference for PRO 서비스를 출시했다.

이 서비스는 text-generation-inference를 활용하여 엄선된 모델들에 대해 초고속 추론이 가능한 전용 HTTP 엔드포인트를 제공한다. PRO 사용자는 기존 무료 Inference API보다 높은 **Rate Limit(사용량 제한)**을 적용받으며, 다음과 같은 주요 모델들을 즉시 사용할 수 있다:

• LLM: Meta Llama 3 (8B, 70B), Mixtral 8x7B, Zephyr 7B, Code Llama 등
• 이미지 생성: Stable Diffusion XL
• 오디오 생성: Bark

본 서비스는 자체 인프라 구축 없이도 최신 모델을 빠르게 테스트하고 프로토타이핑하는 데 최적화되어 있다. 다만, 대규모 프로덕션 환경을 구축하려는 경우에는 전용 서비스인 Inference Endpoints 사용이 권장된다.