Conditional Diffusion의 조합적 일반화 국소 메커니즘

Conditional Diffusion 모델이 훈련 분포 밖의 conditioner 조합을 다루는지, 즉 조합적 일반화를 실제로 학습하는지 탐구했다. 이를 length generalization으로 구체화해, 학습 때보다 더 많은 객체를 생성하는 능력을 CLEVR에서 시험했다.

결과는 모델마다 달랐다. 성공한 모델은 입력 픽셀과 conditioner에 대해 희소하게 연결된 local conditional scores를 보였지만, 실패한 모델은 그렇지 않았다. 즉, 조합적 일반화는 모든 모델의 기본 성질이 아니라 특정 구조를 학습한 경우에만 나타났다.

이론적으로는 특정 조합 구조인 conditional projective composition과 local conditional scores가 정확히 동치임을 증명했다. 이 틀은 style+content처럼 feature-space에서 개념을 합성하는 경우까지 확장된다.

• Causal intervention으로 local conditional scores를 강제로 주입하자, 이전에 실패하던 모델도 length generalization을 수행했다.
• SDXL의 pixel-space에서는 공간적 locality가 관찰됐지만, conditioner에 대한 locality는 대체로 약했다.
• 반면 네트워크의 feature-space에서는 local conditional scores의 정량적 증거가 확인됐다.