Diffusers, Stable Diffusion 3 지원

Hugging Face의 Diffusers 라이브러리가 Stability AI의 최신 모델인 **Stable Diffusion 3(SD3)**를 공식 지원한다. 이번 릴리스에는 20억 개의 파라미터를 가진 Stable Diffusion 3 Medium 모델이 포함되어 있으며, Hugging Face Hub를 통해 즉시 이용 가능하다.

SD3는 새로운 MMDiT(Multimodal Diffusion Transformer) 아키텍처를 채택했다. 이는 텍스트와 이미지 데이터를 공통 차원으로 임베딩하여 상호 작용하게 함으로써, 기존의 크로스 어텐션 방식보다 발전된 정보 흐름을 제공한다. 모델은 CLIP L/14, OpenCLIP bigG/14, T5-v1.1-XXL의 세 가지 텍스트 인코더와 16채널 AutoEncoder를 활용한다.

또한, Rectified Flow Matching 학습 방식을 적용하여 데이터와 노이즈 분포를 직선으로 연결함으로써 샘플링 효율을 극대화했다. 이를 위해 새로운 스케줄러인 FlowMatchEulerDiscreteScheduler가 도입되었으며, 고해상도 이미지 생성을 위한 shift 파라미터 조절 기능도 지원한다.

사용자는 diffusers를 최신 버전으로 업데이트하여 SD3를 사용할 수 있으며, Dreambooth 및 LoRA를 활용한 미세 조정(Fine-tuning) 스크립트도 함께 제공된다.