NVIDIA Diffusion LM 공개

NVIDIA가 Nemotron-Labs Diffusion 언어 모델 패밀리를 공개했다. 기존 자기회귀(AR) 방식이 한 번에 하나의 토큰을 순차 생성하는 것과 달리, 확산(diffusion) 방식은 여러 토큰을 병렬로 생성한 후 반복적으로 정제한다.

3B, 8B, 14B 규모의 텍스트 모델과 8B VLM이 포함되며, 모두 상업적 사용이 가능한 NVIDIA Nemotron 오픈 모델 라이선스로 공개됐다. 훈련 코드는 Megatron Bridge 프레임워크를 통해 제공된다.

세 가지 생성 모드를 하나의 모델에서 지원한다:

• Autoregressive 모드: 기존 LLM처럼 좌→우 순차 생성
• Diffusion 모드: 블록 단위로 점진적 생성
• Self-speculation 모드: diffusion으로 후보 토큰을 드래프트하고 AR로 검증

성능 측정 결과, 8B 모델은 Qwen3 8B 대비 평균 정확도가 1.2% 향상됐으며, diffusion 모드에서 AR 대비 2.6배, self-speculation 모드에서 최대 6.4배 높은 토큰/포워드패스(TPF) 효율을 달성했다.

훈련 방식은 Efficient-DLM 연구를 기반으로, 사전 훈련된 AR 모델에 AR과 diffusion 목적 함수를 동시에 적용해 기존 능력을 유지하면서 병렬 생성 기능을 추가했다. NVIDIA Nemotron 데이터셋 1.3T 토큰으로 사전 훈련하고 45B 토큰으로 SFT를 진행했다.

SGLang을 통한 배포가 곧 메인 브랜치에서 지원될 예정이며, 현재 GitHub PR을 통해 추론이 가능하다.