HF-FriendliAI 모델 배포 통합

Hugging Face와 생성형 AI 추론 전문 기업 FriendliAI가 파트너십을 맺고 Hugging Face Hub 내 모델 배포 프로세스를 통합했다.

이제 개발자는 모델 카드에 있는 'Deploy this model' 버튼을 통해 FriendliAI의 고성능 인프라를 즉시 선택하여 모델을 배포할 수 있다.

주요 제공 서비스는 다음과 같다:

• Friendli Dedicated Endpoints: NVIDIA H100 GPU를 기반으로 오픈소스 또는 커스텀 모델을 관리형 서비스로 배포한다. 최적화된 엔진을 통해 GPU 사용 효율을 높이고 비용을 절감할 수 있다.
• Friendli Serverless Endpoints: 최적화된 API를 통해 오픈소스 모델을 저렴하고 효율적으로 추론할 수 있는 환경을 제공한다.

이번 통합을 통해 개발자는 복잡한 인프라 관리 없이도 고성능 추론 인프라에 즉시 접근하여 생성형 AI 모델을 신속하고 안정적으로 서빙할 수 있게 되었다.