LLaDA2.X: 대규모 확산 언어 모델(Diffusion Language Models) 시리즈

Ant Group은 이산 확산 언어 모델(dLLM)의 이정표가 될 LLaDA2.0 시리즈를 발표했다. 이 모델은 **LLaDA2.0-mini(16B)**와 MoE(Mixture-of-Experts) 아키텍처를 적용한 **LLaDA2.0-flash(100B)**로 구성되며, 확산 모델을 1,000억 파라미터 규모로 확장한 최초의 사례다.

주요 특징은 다음과 같다:

• 100B 파라미터 스케일링: LLaDA2.0-flash는 현재까지 가장 큰 확산 언어 모델로, 코드 생성 및 복잡한 지시 이행 작업에서 탁월한 성능을 입증했다.
• 2.1배 추론 가속: 병렬 디코딩 메커니즘을 활용한 LLaDA2.0-flash-CAP 모델은 최대 535 tokens/s의 속도를 구현하여 기존 AR(Autoregressive) 모델을 크게 앞선다.
• 완전한 오픈 소스: 16B 및 100B 모델 가중치와 학습 코드가 Hugging Face를 통해 모두 공개되었다.

실제 배포를 위해 dInfer 및 SGLang 기반의 커스텀 추론 엔진을 구축하였으며, KV-Cache 재사용과 블록 수준의 병렬 디코딩을 지원하여 고성능 생성 모델로서의 실용성을 확보했다.