LG AI Research 119

ICLR 2021은 메타버스를 활용한 가상 컨퍼런스 형태로 개최되었으며, Generative model, Meta learning, Self-supervised learning 등이 주요 키워드로 등장했다.

특히 생성 모델 분야에서는 기존 VAE, GAN, Normalizing Flow를 넘어 Score-based model과 **Energy-based model(EBM)**이 유의미한 성능을 보이며 새로운 트렌드로 자리 잡고 있다.

주요 논문으로 소개된 Score-based generative modeling은 데이터를 연속적인 시간 $t$에 대한 확률 과정으로 보고, **SDE(Stochastic Differential Equation)**를 통해 모델을 통합했다. 저자는 PC sampler 알고리즘을 제안하여 고해상도 이미지 생성 및 SOTA 성능을 달성했다.

또 다른 연구인 VAEBM은 VAE와 EBM을 결합한 모델이다. MCMC 기반 샘플링의 높은 연산 비용 문제를 해결하기 위해 VAE 컴포넌트를 결합했으며, Two-stage 학습 알고리즘을 통해 최적화 효율을 높여 빠른 샘플링 속도를 확보했다.