Hugging Face, SageMaker용 임베딩 컨테이너 출시

Hugging Face가 Amazon SageMaker에서 임베딩 모델을 쉽고 안전하게 배포할 수 있는 Hugging Face Embedding Container를 정식 출시(GA)했다. 이 컨테이너는 RAG(검색 증강 생성) 애플리케이션 구축에 필수적인 임베딩 모델 배포를 최적화한다.

해당 컨테이너는 고성능 임베딩 모델 서빙 솔루션인 **Text Embedding Inference (TEI)**를 기반으로 하며, 다음과 같은 기술적 이점을 제공한다:

• 추론 최적화: Flash Attention, Candle, cuBLASLt를 활용한 최적화된 코드 및 모델 그래프 컴파일 단계 생략.
• 효율적인 리소스 관리: 작은 Docker 이미지 크기와 빠른 부팅 시간, 토큰 기반 동적 배칭(Dynamic Batching) 지원.
• 운영 안정성: Safetensors 가중치 로딩 및 Open Telemetry, Prometheus 메트릭을 통한 프로덕션 환경 지원.

BERT, RoBERTa, NomicBert, JinaBert 등 다양한 아키텍처를 지원하며, Snowflake Arctic, BGE와 같은 주요 오픈 임베딩 모델을 SageMaker 환경에서 고성능으로 서빙할 수 있다.