[NeurIPS 2023] Score-based Generative Modeling의 트렌드 - LG AI Research BLOG

최근 주목받는 Score-based Generative Modeling(Diffusion Model)의 최신 연구 트렌드를 살펴본다. 주요 연구는 크게 모델 아키텍처 개선과 Downstream Task 확장으로 나뉜다.

Diffusion Model Architecture 측면에서는 학습 효율과 성능을 높이는 연구가 활발하다. Google DeepMind는 각 노이즈 레벨의 Training Loss 가중치 설정을 다루는 연구를 발표했으며, NVIDIA의 EDM 연구를 잇는 Monotonic Weighting 설계가 주목받았다. 또한, U-Net 구조를 개선하여 파라미터를 줄이거나, Data Distillation을 통해 모바일 기기에서도 빠른 속도로 동작하는 SnapFusion 같은 연구도 등장했다.

Downstream Task 측면에서는 생성 모델을 단순한 이미지 생성을 넘어 다양한 작업에 활용하는 연구가 핵심이다. Google DeepMind는 Text-to-Image 모델을 Zero-Shot Classifier로 활용하는 연구를 선보였으며, 이는 기존 CLIP 모델보다 우수한 성능과 Texture Bias에 대한 강건함을 보여주었다.

이 외에도 **Reinforcement Learning(RL)**의 시각적 목표 생성, Point-cloud Completion, 그리고 다양한 조건을 통합하는 Uni-ControlNet 등 Diffusion 모델의 활용 범위가 급격히 확장되고 있다.