SDXL LoRA 학습 최적화 스크립트 공개

Hugging Face가 SDXL Dreambooth LoRA 파인튜닝의 품질을 높이기 위해 최신 SOTA(State-of-the-Art) 기법을 결합한 새로운 학습 스크립트를 diffusers 라이브러리에 추가했다.

이번 업데이트의 핵심은 Replicate의 SDXL Cog 트레이너에서 사용되는 Pivotal Tuning 기술과 Kohya 트레이너의 Prodigy optimizer를 결합한 것이다. 이를 통해 적은 수의 이미지로도 SDXL의 미적 품질을 유지하면서 새로운 개념을 효과적으로 학습할 수 있다.

주요 기술적 특징:

• Pivotal Tuning: 기존 토큰의 의미 간섭을 피하기 위해 텍스트 인코더에 새로운 토큰을 삽입하고 이를 최적화하는 Textual Inversion 방식을 결합하여 학습 효율을 높였다.
• 최적화 도구: Prodigy와 같은 적응형 옵티마이저(Adaptive optimizer)를 활용한다.
• 기타 권장 사항: 텍스트 인코더 학습률 조절, 커스텀 캡션 활용, 데이터셋 반복 횟수 설정, min SNR gamma 적용 등 다양한 최적화 파라미터를 지원한다.

사용자는 diffusers의 새로운 학습 스크립트를 사용하거나, 제공된 Colab 노트북을 통해 즉시 테스트할 수 있다. 또한, 복잡한 설정 없이 UI를 통해 학습하고 싶은 사용자를 위해 Hugging Face Spaces의 'LoRA Ease' 서비스도 함께 안내하고 있다.