Diffusers에 ControlNet 통합

ControlNet은 Stable Diffusion과 같은 확산 모델(Diffusion models)에 깊이 맵(depth map), 세그멘테이션 맵(segmentation map), 스케치(scribble) 등 다양한 공간적 맥락을 조건으로 추가하여 이미지 생성 프로세스를 정밀하게 제어할 수 있는 프레임워크다.

주요 특징 및 작동 원리:

• 구조: 사전 학습된 모델의 파라미터를 유지하는 **'잠긴 복사본(locked copy)'**과 특정 작업을 학습하는 **'학습 가능한 복사본(trainable copy)'**으로 구성된다.
• Zero Convolution: 두 복사본은 Zero Convolution 레이어를 통해 연결된다. 이는 새로운 조건을 학습할 때 기존 모델이 보유한 의미론적 지식을 보존하는 핵심 기술이다.
• Diffusers 통합: StableDiffusionControlNetPipeline을 통해 구현되었으며, 8가지 이상의 다양한 조건부 모델을 지원하여 사용자가 원하는 형태의 제어를 쉽게 수행할 수 있다.