Introspective Diffusion Language Models

**Introspective Diffusion Language Models (I-DLM)**는 diffusion language model(DLM)의 핵심 약점인 introspective consistency 부족을 해결해, 같은 규모의 autoregressive(AR) 모델에 가까운 품질을 달성하려는 접근이다.

주장하는 핵심은 명확하다. AR 모델은 생성과 자기 검증을 한 번의 forward pass 안에서 함께 수행하지만, 기존 DLM은 denoising은 잘해도 자기 검증(introspection) 이 약해 품질 격차가 생긴다.

이를 위해 I-DLM은 introspective strided decoding(ISD) 를 제안한다. 한 번의 forward pass에서:

• 새 토큰을 여러 개 생성하고
• 이전에 생성한 토큰을 동시에 검증하며
• p/q acceptance 기준으로 수용 여부를 판단한다.

학습은 pretrained AR 모델을 바탕으로 causal attention, logit shift, all-masked objective 를 사용해 introspective-consistency training으로 변환한다. 추론은 strict causal attention을 유지해 SGLang 에 바로 붙일 수 있고, 별도 커스텀 인프라가 필요 없다.

결과도 강하게 제시한다.

• I-DLM-8B는 같은 규모의 AR 대응 모델과 동급 품질에 도달한 첫 DLM이라고 주장한다.
• LLaDA-2.1-mini(16B) 대비 AIME-24 +26, LiveCodeBench-v6 +15를 기록했다고 밝힌다.
• 고동시성 환경에서 2.9~4.1x throughput 향상을 제시한다.
• gated LoRA 를 쓰는 R-ISD 는 bit-for-bit identical 한 lossless acceleration을 제공한다고 설명한다.

벤치마크는 15개 항목에 걸쳐 보고되며, knowledge, math, code, instruction following 전반에서 이전 DLM들보다 우위라고 요약한다. 특히 I-DLM-8B는 MMLU 82.4, AIME-24 69.6, HumanEval 93.3, LCB-v6 45.7 같은 기존 DLM 대비 수치를 넘어서는 결과를 제시한다.

요지는, 기존 DLM의 병목을 단순한 샘플링 속도가 아니라 자기 일관성 + 계산 효율 + 서빙 적합성의 문제로 보고, 이를 동시에 개선한 구조라는 점이다.