Hugging Face, Optimum 추론 가속화 지원

Hugging Face의 오픈소스 라이브러리인 Optimum이 Transformers 파이프라인에 대한 추론 지원을 추가했다. 이를 통해 사용자는 기존 Transformers API와 호환되는 방식으로 ONNX Runtime과 같은 가속 런타임을 활용하여 모델 효율성을 극대화할 수 있다.

주요 기능 및 특징은 다음과 같다:

• API 호환성: AutoModelForXxx를 ORTModelForXxx로 교체하는 것만으로 최적화된 모델 사용 가능
• Hugging Face Hub 통합: 최적화된 체크포인트를 허브에서 직접 가져오거나 업로드 가능
• 최적화 도구 제공: ORTQuantizer 및 ORTOptimizer를 통한 모델 양자화와 그래프 최적화 지원

이 업데이트는 BERT 등 Transformer 기반 모델을 대규모 프로덕션 환경에 배포하려는 개발자들에게 모델 서빙 속도와 효율성을 높일 수 있는 도구를 제공한다.