Diffusers, Stable Diffusion LoRA 학습 지원

LoRA(Low-Rank Adaptation)는 대규모 언어 모델(LLM)의 미세 조정 비용을 줄이기 위해 제안된 기술로, 사전 학습된 가중치는 고정하고 rank-decomposition matrices를 주입하여 학습 파라미터 수를 대폭 줄인다.

이 기술을 Stable Diffusion의 cross-attention layers에 적용하면 이미지와 텍스트 표현 간의 관계를 효율적으로 학습할 수 있다. Hugging Face의 diffusers 라이브러리에 LoRA 학습 지원이 공식적으로 통합되었으며, 주요 이점은 다음과 같다:

• 학습 속도 향상: 전체 모델 미세 조정보다 훨씬 빠르게 학습 가능.
• 낮은 컴퓨팅 요구사항: 11GB VRAM을 가진 GPU에서도 효율적인 학습 가능.
• 극도로 작은 모델 크기: 기존 UNet 모델 대비 약 1,000배 작은 ~3MB 크기의 가중치 파일만 저장하면 됨.

이를 통해 사용자는 미세 조정된 모델(Dreambooth 등)을 공유할 때 거대한 전체 모델 대신 가벼운 LoRA 파일만 공유할 수 있어 저장 및 다운로드 비용을 크게 절감할 수 있다.