LCM LoRA로 SDXL 생성 속도 대폭 향상

LCM LoRA는 Stable Diffusion(SDXL) 모델의 이미지 생성 단계를 기존 25~50단계에서 4~8단계로 획기적으로 줄여주는 새로운 방법론이다.

기존의 Latent Consistency Models(LCM) 방식은 모델 전체를 증류(Distillation)해야 하므로 비용과 시간이 많이 소요되었으나, LCM LoRA는 작은 어댑터(LoRA 레이어)만 학습하여 이 문제를 해결했다.

주요 특징 및 장점:

• 범용성: 학습된 LoRA를 사용하면 별도의 증류 과정 없이 어떠한 SDXL 미세 조정(Fine-tuned) 모델에도 즉시 적용할 수 있다.
• 압도적인 속도: RTX 3090 기준 생성 시간을 7초에서 1초 내외로 단축하며, Mac 환경에서는 약 10배 빠른 성능을 보여준다.
• 효율성: 적은 컴퓨팅 자원으로도 고품질의 빠른 추론이 가능해져, 저사양 하드웨어에서의 접근성을 높이고 서비스 비용을 절감할 수 있다.

사용자는 허브에서 적절한 교사 모델(Teacher model)을 선택해 LCM LoRA를 학습시킨 후, 이를 기존 SDXL 모델과 LCM 스케줄러에 결합하여 사용할 수 있다.