언어 모델에서 연속 확산 모델(CDLM)의 부활과 기술적 배경

자율 회귀 모델의 한계와 확산 모델의 등장

현대 언어 모델은 대부분 자율 회귀(autoregressive) 방식으로, 토큰을 하나씩 순차적으로 생성한다. 이 방식은 학습 효율성이 높지만, 노출 편향(exposure bias)이나 제약된 생성 작업 적용의 어려움 같은 이론적 한계를 안고 있다. 이를 극복하기 위해 이미지 생성에서 성공한 **확산 모델(diffusion models)**을 언어에 적용하려는 시도가 이어져 왔다.

연속 확산 모델의 역사적 흐름

• 2021년: 초기 연구들은 이산 데이터에 Gaussian 노이즈를 적용하기 위해 이산 확산(discrete diffusion) 방식을 채택했다.
• 2022년: Diffusion-LM 등 일부 연구에서 이산 카테고리를 연속 임베딩 벡터로 표현하여 Gaussian 노이즈를 적용하는 연속 확산(continuous diffusion) 방식을 도입했다. 이는 이미지 생성용 도구를 그대로 활용할 수 있다는 장점이 있었다.
• 2023년 말: 이후 연구 트렌드는 다시 이산 확산으로 기울며, 연속 확산 모델 연구는 사실상 중단되었다.

최근의 부활 조짐

최근 몇 년간 잠잠했던 연속 확산 모델 분야에 새로운 연구들이 쏟아지고 있다. 이는 자율 회귀 모델의 지배력에 도전하는 새로운 접근법으로, 특히 제어 가능한 텍스트 생성(controllable text generation) 등에서 잠재력을 인정받으며 다시 주목받고 있다.