확산 언어 모델(Diffusion LLM) 연구 동향 정리

기존 자기회귀(Autoregressive, AR) 방식의 순차적 생성은 긴 문장 생성 시 지연 시간이 늘어나고, GPU 연산 자원 활용도가 낮으며, 문장 구조의 유연한 수정이 어렵다는 한계가 있습니다.

**확산 언어 모델(Diffusion LLM, dLLM)**은 답변 영역 전체를 마스킹(Masking)한 상태에서 시작하여, 여러 단계의 복원(Denoising) 과정을 통해 토큰을 병렬적으로 채워 넣는 방식을 취합니다. 이는 이미지 생성 모델의 원리를 이산적인 텍스트 토큰에 적용한 것입니다.

주요 연구 및 모델은 다음과 같습니다:

• LLaDA: 마스킹 확산(Masked Diffusion) 방식을 채택하여 텍스트의 정보량에 기반한 노이즈 스케줄을 적용함
• DiffusionGemma: Google의 Gemma 아키텍처를 기반으로 한 확산 모델
• 기타 주요 모델: Mercury, Dream 7B, Nemotron Diffusion 등

이러한 dLLM은 한 번의 순전파(Forward pass)에서 여러 토큰을 동시에 예측할 수 있어, 연산 자원을 효율적으로 활용하고 생성 지연 시간을 줄일 수 있는 잠재력을 가집니다.