I-DLM - 내성 확산 언어 모델(Introspective Diffusion Language Models)

I-DLM은 확산 기반 언어 모델이 AR(Autoregressive) 모델 수준의 품질과 병렬 생성 속도를 동시에 노린 사례다.

핵심은 Introspective Strided Decoding(ISD) 으로, 한 번의 전방 패스에서 새 토큰 생성과 이전 토큰 검증을 함께 수행한다. 기존 DLM의 약점이던 자기 일관성 부족, 비효율적 연산, 서빙 인프라 불일치를 줄이기 위해 introspective-consistency training을 적용한다.

성능 면에서는 I-DLM-8B가 LLaDA-2.1-mini(16B) 대비 절반 수준의 파라미터로도 AIME-24 +26점, LiveCodeBench-v6 +15점 개선을 보였고, 15개 벤치마크 전반에서 기존 DLM을 앞섰다. 수치도 ARC-C 96.8, MMLU-Pro 79.7, GPQA-D 62.1, AIME-24 83.3, MATH-500 97.6, HumanEval 96.3 등으로 정리된다.

서빙과 속도 측면에서는 배치 1~64 구간에서 LLaDA-2.1-mini 및 SDAR 대비 2.9~4.1배 처리량을 달성했고, SGLang 인프라와 직접 호환된다. 또한 Gated LoRA를 이용한 lossless R-ISD로 기본 AR 출력과 비트 단위 동일성을 유지하면서도 가속이 가능하다고 제시한다.

모델 공개 범위는 I-DLM-8B, I-DLM-32B, I-DLM-8B-LoRA이며, 설치·학습·추론·서빙·벤치마크 재현용 문서와 스크립트도 함께 제공된다.