ONNX Runtime, 13만 모델 가속
Accelerating over 130,000 Hugging Face models with ONNX Runtime
·2023.10.04 09:00
ONNX Runtime이 Hugging Face의 13만 개 이상의 모델을 지원하며 추론 성능을 가속화한다.
ONNX Runtime은 다양한 모델의 성능을 최적화할 수 있는 크로스 플랫폼 머신러닝 도구이다.
Hugging Face는 현재 130,000개 이상의 ONNX 지원 모델을 보유하고 있으며, 이를 통해 모델의 추론 성능을 크게 향상시킬 수 있다. 예를 들어, Whisper-tiny 모델을 ONNX Runtime으로 실행할 경우 PyTorch 대비 평균 추론 지연 시간을 최대 **74.30%**까지 줄일 수 있다.
현재 다음과 같은 주요 모델 아키텍처를 포함하여 총 90개 이상의 아키텍처가 지원된다:
- BERT, GPT2, DistilBERT, RoBERTa, T5 등 NLP 모델
- Stable-Diffusion 등 이미지 생성 모델
- Whisper, Wav2Vec2 등 오디오 모델
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.