ONNX Runtime, 13만 모델 가속

ONNX Runtime은 다양한 모델의 성능을 최적화할 수 있는 크로스 플랫폼 머신러닝 도구이다.

Hugging Face는 현재 130,000개 이상의 ONNX 지원 모델을 보유하고 있으며, 이를 통해 모델의 추론 성능을 크게 향상시킬 수 있다. 예를 들어, Whisper-tiny 모델을 ONNX Runtime으로 실행할 경우 PyTorch 대비 평균 추론 지연 시간을 최대 **74.30%**까지 줄일 수 있다.

현재 다음과 같은 주요 모델 아키텍처를 포함하여 총 90개 이상의 아키텍처가 지원된다:

• BERT, GPT2, DistilBERT, RoBERTa, T5 등 NLP 모델
• Stable-Diffusion 등 이미지 생성 모델
• Whisper, Wav2Vec2 등 오디오 모델