Diffusion Model의 적분을 학습하기

diffusion sampling은 노이즈에서 데이터로 이동하는 경로를 여러 단계로 적분하는 과정이다. 이 글은 그 적분을 직접 예측하는 flow maps를 중심으로, diffusion과의 관계를 다시 정리한다.

먼저 sampling을 stochastic과 deterministic으로 나눈다. deterministic 방식에서는 같은 시작점이 항상 같은 끝점으로 이어져 노이즈-데이터 간 bijection이 생기며, denoiser는 현재 위치와 시점만 보고 다음 방향을 내는 memoryless·myopic한 역할을 한다. 그래서 경로는 유일해야 하고, 서로 다른 경로가 교차하면 안 된다.

그다음 flow maps는 경로 위의 한 점을 다른 점으로 직접 예측할 수 있는 방식으로 설명된다. 단순한 tangent prediction보다 더 유연해 faster sampling, reward-based learning, steerability로 이어질 수 있다.

후반부에서는 Boffi et al.의 taxonomy를 바탕으로

• consistency를 어떻게 정의할지
• backprop를 쓸지 말지
• from-scratch로 어떻게 학습할지
• 실제 적용과 대안 전략은 무엇인지 를 차례로 정리한다.