LG AI Research: NeurIPS 2023의 스코어 기반 생성 모델 연구 트렌드

최근 스코어 기반 생성 모델(Score-based Generative Modeling), 즉 디퓨전 모델(Diffusion Model) 연구가 뛰어난 성능을 바탕으로 활발히 진행되고 있다. NeurIPS 2023에서는 모델의 구조적 개선과 활용 범위를 넓히는 다양한 연구들이 주목받았다.

디퓨전 모델 아키텍처 측면에서는 학습 시 가중치(Weighting) 설정이 핵심이다. Google DeepMind는 디퓨전 모델의 학습 손실을 **ELBO(Evidence Lower Bound)**와 결합하는 연구를 통해 성능을 개선했으며, 이는 기존의 단순한 가중치 방식보다 일관된 성능 향상을 보여주었다.

또한, 모델의 효율성과 속도를 높이기 위한 연구도 눈에 띈다.

• U-Net 설계 최적화: 웨이브릿(Wavelet)과 같은 기저 함수를 활용해 파라미터 수를 줄이면서도 성능을 유지하는 다중 해상도 U-Net 구조가 제안되었다.
• SnapFusion: 데이터 증류(Data Distillation) 기술을 통해 모바일 기기에서도 2초 이내에 텍스트-이미지 생성이 가능하도록 샘플링 속도를 획기적으로 높였다.

다운스트림 태스크 분야에서는 텍스트-이미지 디퓨전 모델을 단순 생성을 넘어 Zero-Shot Classifier로 활용하는 연구가 주목받았다. Google DeepMind의 연구에 따르면, 특정 클래스에 대한 프롬프트를 조건으로 주어 생성된 결과의 차이를 점수화함으로써 기존 CLIP 모델보다 강력한 제로샷 분류 성능을 구현할 수 있었다.