AI BriefingSDXL Turbo 추론 속도 최대 229% 향상
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
·2024.01.15 09:00
핵심 내용
ONNX Runtime과 Microsoft Olive를 통해 SD Turbo 및 SDXL Turbo 모델의 추론 성능을 대폭 개선했다.
1 / 2
자세히 보기
SD Turbo 및 SDXL Turbo 모델의 추론 속도를 높이기 위해 ONNX Runtime의 CUDA 및 TensorRT 실행 프로바이더를 활용한 최적화 방법을 소개한다.
NVIDIA GPU 환경에서 테스트한 결과, SDXL Turbo 모델은 최대 229%, SD Turbo 모델은 최대 **120%**의 처리량(throughput) 향상을 기록했다. ONNX Runtime은 PyTorch 대비 모든 배치 크기와 스텝 수 조합에서 더 나은 성능을 보였다.
모델 최적화 도구인 Microsoft Olive를 통해 생성된 최적화 모델은 Hugging Face에서 바로 사용할 수 있다. 또한, ONNX Runtime의 교차 플랫폼 지원 덕분에 Python뿐만 아니라 C# 및 Java 환경에서도 Stable Diffusion 모델을 효율적으로 구동할 수 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
