SDXL용 T2I-Adapter 지원 및 효율성 개선
Efficient Controllable Generation for SDXL with T2I-Adapters
·2023.09.08 09:00
SDXL의 제어 성능을 유지하면서 ControlNet보다 훨씬 가볍고 빠른 T2I-Adapter가 diffusers에 도입되었다.
T2I-Adapter는 사전 학습된 텍스트-이미지 모델을 고정한 상태에서 추가적인 가이드를 제공하는 효율적인 플러그인 모델이다. 기존 ControlNet과 달리 모델 크기가 매우 작고, 디노이징 과정 전체에서 단 한 번만 실행되므로 연산 비용이 훨씬 저렴하다.
주요 특징 및 성능 비교:
- 경량화: SDXL 기준, ControlNet-SDXL(1251M) 대비 파라미터 수를 93.69% 절감한 79M 크기를 구현했다.
- 효율성: 저장 용량 또한 약 94% 감소하여 메모리 및 속도 측면에서 큰 이점을 가진다.
- 다양한 조건 지원: sketch, canny, lineart, depth, openpose 등 다양한 제어 신호를 지원한다.
Hugging Face의 diffusers 라이브러리에 SDXL용 T2I-Adapter 지원이 공식적으로 추가되었으며, 개발자들은 StableDiffusionXLAdapterPipeline을 통해 이를 즉시 활용할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.