Diffusion RL을 위한 효율적인 Rollout 확장

NVIDIA의 Sol-RL은 탐색과 학습을 분리한 2-stage framework를 제안한다. 먼저 FP4 rollouts로 대규모 후보 집합을 생성하고, 이후 BF16으로 선택된 정책 업데이트만 수행한다.

이 구조는 후보 생성 단계의 계산 비용을 낮추면서도, 중요한 샘플에만 업데이트를 집중할 수 있게 한다. 그 결과 compute cost를 줄이는 동시에 정렬(alignment)을 개선하고, diffusion model post-training의 수렴 속도를 높였다.