Hugging Face, 추론 최적화 서비스 'HUGS' 출시
Introducing HUGS - Scale your AI with Open Models
·2024.10.23 09:00
Hugging Face가 자체 인프라에서 오픈 모델을 쉽게 배포할 수 있는 추론 서비스 HUGS를 출시했다.
**HUGS(Hugging Face Generative AI Services)**는 오픈 모델을 자체 인프라에 최적화된 상태로, 설정 없이 즉시 배포할 수 있도록 설계된 추론 마이크로서비스다.
주요 특징 및 장점:
- Zero-Configuration 배포: 복잡한 엔지니어링 과정 없이 NVIDIA, AMD GPU 등 다양한 가속기에서 최적의 성능으로 모델을 즉시 실행할 수 있다.
- OpenAI 호환 API: 기존의 Generative AI 애플리케이션을 코드 변경 거의 없이 HUGS 배포 환경으로 전환할 수 있는 드롭인 교체(drop-in replacement)를 지원한다.
- 보안 및 인프라 제어: 모델과 데이터를 외부 인터넷에 노출하지 않고 기업의 자체 보안 환경(In-house infrastructure) 내에서 안전하게 운영할 수 있다.
- 엔터프라이즈급 신뢰성: Hugging Face의 **TGI(Text Generation Inference)**를 기반으로 하며, SOC2 준수 및 장기 지원을 제공한다.
현재 AWS 및 GCP 마켓플레이스를 통해 제공되며, 향후 Azure 지원이 추가될 예정이다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.