LG AI Research 302

세계적인 AI 컨퍼런스인 NeurIPS 2022에서 LG AI Research 연구진은 신규 논문 발표와 기술 데모를 진행하며 글로벌 연구 트렌드를 파악했다. 이번 리뷰에서는 생성 모델(Generative Modeling), 대규모 언어 모델(LLM), 강화 학습(Reinforcement Learning) 분야의 주목할 만한 논문들을 다룬다.

최근 생성 모델 분야의 핵심인 **Score-based Generative Model(SGM)**은 이미지 합성 및 텍스트-투-이미지 모델링의 표준으로 자리 잡았다. 다만, 다단계 샘플링 과정으로 인한 느린 생성 속도가 한계로 지적되어 이를 개선하려는 연구가 활발히 진행 중이다.

주요 연구 사례는 다음과 같다:

• DPM-solver: SGM의 역과정(reverse process)을 확률 흐름 상미분 방정식(ODE)으로 정의하고, 비선형 항만을 근사하여 샘플링 속도를 높였다.
• GENIE: 테일러 전개(Taylor's method)를 기반으로 한 고차 솔버를 제안하고, 기존 모델 위에 작은 신경망을 추가하는 증류(Distillation) 방식을 통해 추론 단계의 계산량을 대폭 줄였다.
• INDM & Riemannian SDE: 잠재 공간(Latent space)에서의 확산 정의나 리만 기하학(Riemannian geometry)을 활용하여 이미지 생성 성능을 높이는 연구도 주목받았다.

또한, SGM은 별도의 추가 학습 없이도 초해상도(Super-resolution)나 인페인팅(Inpainting) 같은 시각적 다운스트림 태스크에 Plug-and-play 방식으로 적용될 수 있음을 보여주었다.