SageMaker-Hugging Face 배포
Deploy Hugging Face models easily with Amazon SageMaker
·2021.07.08 09:00
Hugging Face와 Amazon SageMaker의 협업으로 트랜스포머 모델을 손쉽게 배포할 수 있는 새로운 추론 솔루션이 공개되었다.
Hugging Face와 Amazon의 전략적 협업을 통해 Amazon SageMaker에서 Hugging Face 모델을 더 빠르고 쉽게 배포할 수 있는 환경이 구축되었다.
새로운 **Hugging Face Inference DLCs(Deep Learning Containers)**를 사용하면 단 한 줄의 코드로 학습된 모델을 추론용 엔드포인트로 배포할 수 있다. 또한, Hugging Face Model Hub에 있는 10,000개 이상의 공개 모델을 즉시 SageMaker로 배포할 수 있다.
SageMaker Hugging Face Inference Toolkit은 transformers 라이브러리의 pipelines를 활용하여, 전처리 및 후처리 코드를 직접 작성할 필요 없는 **'Zero-code deployment'**를 지원한다.
사용자는 필요에 따라 기본 메서드를 오버라이드하는 'Bring your own code' 방식도 사용할 수 있어 커스텀 추론 로직 구현이 가능하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.