LG AI Research 300

NeurIPS 2022에서 주목받은 **Score-based Generative Modeling (SGM)**의 최신 연구 경향을 다룬다. 특히 SGM의 단점인 느린 샘플링 속도를 개선하기 위해 DPM-solver와 GENIE 같은 고차(High-order) 솔버 연구가 핵심이다.

또한, SGM을 다양한 공간(Riemannian geometry 등)에 정의하거나, 추가 학습 없이 Super-resolution이나 Inpainting 같은 다운스트림 태스크에 적용하는 연구들도 주요 흐름으로 자리 잡았다.

Large Language Models (LLM) 분야에서는 한정된 컴퓨팅 자원 내에서 모델 크기와 데이터 양의 최적의 상관관계를 분석한 DeepMind의 연구가 소개되었다. 이는 주어진 FLOPs 내에서 성능을 극대화할 수 있는 최적의 모델 규모를 찾는 데 초점을 맞춘다.