잔차 컨텍스트 확산 언어 모델 (Residual Context Diffusion Language Models)

기존의 **block-wise Diffusion Large Language Models (dLLMs)**는 가장 신뢰도가 높은 토큰만 디코딩하고 나머지는 버리는 'remasking' 메커니즘을 사용해 계산 자원을 낭비하는 한계가 있었다.

새롭게 제안된 **Residual Context Diffusion (RCD)**는 버려지는 토큰의 표현(representation)을 **컨텍스트 잔차(contextual residuals)**로 변환하여 다음 디노이징 단계에 다시 주입함으로써 계산 효율을 높인다. RCD는 메모리 병목 현상을 방지하기 위해 decoupled two-stage training pipeline을 채택했다.

이 방식은 다음과 같은 성능 향상을 입증했다:

• 정확도 향상: 주요 벤치마크에서 기존 dLLM 대비 정확도를 5~10포인트 높임
• 추론 효율: 가장 까다로운 AIME 작업에서 정확도는 거의 두 배로 높이면서, 동일 정확도 대비 디노이징 단계는 4~5배 단축
• 빠른 전환: 약 10억(1 billion) 개의 토큰만으로도 표준 dLLM을 RCD 패러다임으로 효율적으로 변환 가능