Apple 연구진, 확산 언어 모델 RL 성능 높이는 DACA-GRPO 공개

Apple 연구진이 확산 언어 모델(Diffusion LLM)의 강화학습 성능을 개선하는 DACA-GRPO를 공개했다. 기존 RL 방법은 디노이징 단계의 중요도를 동일하게 취급하고, 편향된 평균장(mean-field) 추정치를 사용해 성능 저하를 유발했다.

DACA-GRPO는 추가적인 순방향 계산 없이 토큰별 중요도를 추출하는 Denoising Progress Scores와, 토큰 위치를 계층화하여 편향을 줄이는 Stratified Masking Likelihood를 도입했다. 이는 기존 GRPO 학습기에 플러그 앤 플레이 방식으로 적용 가능하다.

세 가지 GRPO 기반 방법론에 적용한 결과, 수학 추론에서 최대 5.6pp, 코드 생성에서 7.4pp, 제약 조건 충족에서 36.3pp, JSON 스키 준수에서 5.9pp의 성능 향상을 달성했다.