AI BriefingSDXL용 T2I-Adapter 지원 및 효율성 개선
Efficient Controllable Generation for SDXL with T2I-Adapters
·2023.09.08 09:00
핵심 내용
SDXL의 제어 성능을 유지하면서 ControlNet보다 훨씬 가볍고 빠른 T2I-Adapter가 diffusers에 도입되었다.
1 / 2
자세히 보기
T2I-Adapter는 사전 학습된 텍스트-이미지 모델을 고정한 상태에서 추가적인 가이드를 제공하는 효율적인 플러그인 모델이다. 기존 ControlNet과 달리 모델 크기가 매우 작고, 디노이징 과정 전체에서 단 한 번만 실행되므로 연산 비용이 훨씬 저렴하다.
주요 특징 및 성능 비교:
- 경량화: SDXL 기준, ControlNet-SDXL(1251M) 대비 파라미터 수를 93.69% 절감한 79M 크기를 구현했다.
- 효율성: 저장 용량 또한 약 94% 감소하여 메모리 및 속도 측면에서 큰 이점을 가진다.
- 다양한 조건 지원: sketch, canny, lineart, depth, openpose 등 다양한 제어 신호를 지원한다.
Hugging Face의 diffusers 라이브러리에 SDXL용 T2I-Adapter 지원이 공식적으로 추가되었으며, 개발자들은 StableDiffusionXLAdapterPipeline을 통해 이를 즉시 활용할 수 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.