LaDiR: LLM 텍스트 추론을 강화하는 잠재 확산

**LaDiR(Latent Diffusion Reasoner)**은 LLM의 chain-of-thought(CoT) 추론을 VAE와 latent diffusion model로 재구성한 프레임워크다. 기존 autoregressive decoding이 이전 토큰을 충분히 되돌아보지 못해 탐색과 수정이 제한된다는 문제를 겨냥했다.

먼저 텍스트 추론 단계를 thought token 블록으로 압축하는 잠재 추론 공간을 만들고, 의미 정보와 해석 가능성을 유지하면서도 더 컴팩트한 표현을 확보한다.

그다음 blockwise bidirectional attention mask를 적용한 latent diffusion이 이 블록을 단계적으로 정제한다. 이 구조는 더 긴 범위에서 계획하고 수정할 수 있게 하며, adaptive test-time compute를 활용해 여러 추론 경로를 병렬로 만든다.

• 평가: 수학 추론과 planning benchmark를 포함한 여러 과제에서 검증했다.
• 결과: 기존 autoregressive, diffusion-based, latent reasoning 방법보다 정확도, 다양성, 해석 가능성이 일관되게 향상됐다.

LaDiR은 latent diffusion을 통해 텍스트 추론을 더 유연하게 계획하고, 더 넓게 탐색하고, 더 잘 다듬는 새 패러다임을 제시했다.