Optimum-ONNX Runtime으로 학습 속도 향상

Hugging Face와 Microsoft의 ONNX Runtime 팀이 협력하여 대규모 언어, 음성, 비전 모델의 파인튜닝을 가속화하는 솔루션을 제공한다. Hugging Face의 Optimum 라이브러리를 통해 ONNX Runtime을 통합하면 많은 인기 모델의 학습 시간을 35% 이상 단축할 수 있다.

성능 측정 결과, ONNX Runtime과 DeepSpeed ZeRO Stage 1을 함께 사용할 경우 PyTorch 베이스라인 대비 39%에서 최대 130%의 가속 효과를 보였다. 이는 Fused Adam 옵티마이저와 같은 최적화 기술을 통해 구현된다.

ONNX Runtime Training은 다음과 같은 최적화를 통해 처리량을 높인다:

• 메모리 최적화: 효율적인 메모리 계획을 통해 배치 사이즈를 극대화하고 가용 메모리를 효율적으로 사용한다.
• 연산 최적화: 커널 최적화 및 Adam 옵티마이저를 위한 Multi-tensor apply(여러 파라미터 업데이트를 하나의 커널 실행으로 통합) 등을 지원한다.
• FP16 옵티마이저: 장치와 호스트 간의 메모리 복사를 줄여 성능을 개선한다.