SDXL Turbo 추론 속도 최대 229% 향상
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
·2024.01.15 09:00
ONNX Runtime과 Microsoft Olive를 통해 SD Turbo 및 SDXL Turbo 모델의 추론 성능을 대폭 개선했다.
SD Turbo 및 SDXL Turbo 모델의 추론 속도를 높이기 위해 ONNX Runtime의 CUDA 및 TensorRT 실행 프로바이더를 활용한 최적화 방법을 소개한다.
NVIDIA GPU 환경에서 테스트한 결과, SDXL Turbo 모델은 최대 229%, SD Turbo 모델은 최대 **120%**의 처리량(throughput) 향상을 기록했다. ONNX Runtime은 PyTorch 대비 모든 배치 크기와 스텝 수 조합에서 더 나은 성능을 보였다.
모델 최적화 도구인 Microsoft Olive를 통해 생성된 최적화 모델은 Hugging Face에서 바로 사용할 수 있다. 또한, ONNX Runtime의 교차 플랫폼 지원 덕분에 Python뿐만 아니라 C# 및 Java 환경에서도 Stable Diffusion 모델을 효율적으로 구동할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.