Google, 확산 모델의 창의성 원리 규명

Google Research의 최신 논문(ICLR 2026)은 확산 모델(Diffusion Model)이 학습 데이터를 그대로 복제하는 '암기(Memorization)'를 넘어, 어떻게 새로운 표본을 생성하는지 수학적으로 분석했습니다.

핵심은 **스코어 함수(Score Function)**의 특성에 있습니다. 모델이 학습 데이터의 정확한 분포인 **경험적 스코어 함수(ESF)**를 완벽하게 학습하면, 모델은 데이터를 단순히 복사하는 검색 도구에 불과하게 됩니다. 반면, 신경망 학습 과정에서 발생하는 **정규화(Regularization)**는 스코어 함수를 매끄럽게 다듬는 역할을 합니다.

이 '매끄러운 스코어'는 다음과 같은 효과를 만듭니다.

• 보간(Interpolation) 효과: 날카로운 데이터 지점 사이를 완만한 비탈처럼 연결하여, 학습 데이터 사이의 새로운 값을 생성하게 합니다.
• 창의성의 근원: 인위적인 스무딩 없이도 신경망의 가중치 감쇠(Weight Decay)와 같은 정규화가 자연스럽게 스코어를 다듬어, 모델이 데이터 사이를 보간하며 새로운 표본을 만들도록 유도합니다.

결론적으로 확산 모델의 창의성은 모델의 '불완전한 학습'이 만들어낸 매끄러운 스코어 함수를 통한 데이터 간 보간 과정에서 비롯된다는 점을 입증했습니다.