LG AI Research 126

ICLR 2021은 딥러닝 모델의 표현, 학습 및 최적화를 다루는 세계적인 AI 컨퍼런스로, 이번 행사에서는 Metaverse 기술을 활용한 가상 컨퍼런스 형식이 도입되어 포스터 세션 등에서 독특한 경험을 제공했다.

최근 연구 트렌드는 Generative Learning, Meta Learning, Self-supervised Learning이 주도하고 있다. 특히 기존의 VAE, GAN, Normalizing Flow를 넘어, 데이터 분포 추정 및 도메인 정렬을 통해 다양한 문제를 해결할 수 있는 생성 모델 연구가 활발히 진행 중이다.

그중에서도 Score-based Generative Modeling은 GAN보다 안정적인 학습과 우수한 성능을 제공하며 주목받고 있다. 특히 Yang Song의 논문은 **Stochastic Differential Equation(SDE)**를 통해 데이터에 노이즈를 추가하는 과정을 연속 시간(continuous time)의 확률 과정으로 다루며, ICLR 2021에서 Best Paper로 선정되었다.

이 논문은 기존의 SMLD(Score Matching with Langevin Dynamics)와 DDPM(Denoising Diffusion Probabilistic Modeling)을 SDE 프레임워크 내의 VE SDE와 VP SDE로 통합하여 설명한다. 또한, Predictor-Corrector 구조를 가진 새로운 샘플링 기술인 PC Sampler를 제안하여 더욱 정교한 이미지 생성을 가능하게 했다.