HuggingFace, LoRA 추론 속도 300% 개선

HuggingFace는 Stable Diffusion LoRA 추론 시 발생하는 콜드 부트(Cold Boot) 문제를 해결하여 서비스 효율을 극대화했다.

기존에는 새로운 LoRA 요청 시 모델 전체를 다운로드하고 설정하는 데 약 25초가 소요되었으나, 개선 후에는 이를 3초로 단축했다. 이를 통해 전체 응답 시간은 35초에서 13초로 감소했다.

핵심 기술적 원리는 다음과 같다:

• 베이스 모델 유지: 약 7GB 크기의 SDXL 베이스 모델을 메모리에 상주(Warm)시킨다.
• 어댑터 동적 교체: 약 24MB에 불과한 가벼운 LoRA 어댑터만 요청에 따라 빠르게 교체한다.

이 방식을 통해 적은 수의 GPU(A10G 5대 미만)만으로도 수백 개의 서로 다른 LoRA를 효율적으로 서비스할 수 있게 되었다.