ORL, RTX 5090서 확산 LLM 2,788 tokens/s 기록

연구진이 생성 품질 저하 없이 확산 언어 모델(dLLM)의 속도를 높이는 ORL(On-Policy Residual Learning) 기법을 공개했다. 자체 추론 엔진 dlmrt와 결합한 결과, NVFP4 양자화를 적용한 LLaDA-2.1-mini 모델로 단일 RTX 5090에서 2,788 tokens/s를 달성했다. 8x B200 GPU 환경에서는 DiffusionGemma 26B MoE 모델이 7,708 tokens/s의 처리량을 기록했다.

핵심 방법론

ORL은 dLLM의 병렬 토큰 정제 과제에 대응하기 위해 두 가지 기술을 활용한다.

• On-Policy Residual Learning: 현재 모델이 생성한 최신 궤적에서 추론 중 발생한 정확한 잔차 상태를 재현해 학습함으로써 분포 불일치를 방지한다.
• Adjacent Entropy Contraction: 각 디노이징 단계에서 이전 단계 대비 불확실성을 줄이도록 유도하는 손실 함수로, 모델이 한 번의 순방향 패스에서 더 많은 토큰을 확정하도록 학습한다.

성능 벤치마크

다양한 모델에서 상당한 처리량 향상과 경쟁력 있는 정확도를 입증했다.

• QwenDLM-4B: 엔드투엔드 처리량을 최대 6.9배 높이고 HumanEval pass@1 점수를 **82.9%**에서 **89.6%**로 개선했다.
• LLaDA-2.1-mini: 자체 생성 학습 토큰 4.2M개와 36 H100 GPU-hours의 후처리 학습만으로 최대 3배의 처리량 향상을 달성했다.
• 추측 디코딩과의 비교: 단일 H100에서 QwenDLM-4B + ORL은 1,298 tokens/s를 기록해 유사한 정확도 수준의 DFlash(746 tokens/s)와 EAGLE3(405 tokens/s)를 능가했다.

인프라 및 공개 현황

연구진은 단일 요청 확산 디코딩의 저지연 추론에 최적화된 엔진 dlmrt를 개발했다. 전체 디노이징 루프를 CUDA graph로 캡처하며 Blackwell GPU에서 NVFP4 추론을 지원한다. 논문, 학습 코드, 평가 파이프라인, 모델 체크포인트 등 프로젝트 전반이 오픈소스로 공개됐다.