영어를 넘어선 GRPO: 비영어 및 다국어 환경에서의 GRPO 대규모 연구

Reinforcement Learning with Verifiable Rewards (RLVR), 특히 **GRPO(Group Relative Policy Optimization)**는 언어 모델의 추론 능력을 높이는 핵심 기술이지만, 지금까지의 연구는 영어에 지나치게 편중되어 있었다.

다양한 베이스 모델과 학습 언어, 추론 언어 보상을 활용하여 비영어 및 다국어 환경에서의 GRPO를 대규모로 실증 분석한 결과, 다음과 같은 핵심 사실이 확인되었다.

• 모국어 추론 성능: 특정 언어로 추론을 학습할 경우, 영어로 학습했을 때와 비교해 성능 격차가 매우 적게 나타난다.
• 교차 언어 전이: 한 언어에서의 학습이 다른 여러 언어의 성능을 향상시키는 강력한 전이 효과를 보였다.
• 언어별 성능 저하 위험: 특정 언어 학습이 다른 언어의 도메인 외(out-of-domain) 능력을 심각하게 저하시키는 사례도 존재하며, 이는 모델과 언어에 따라 매우 상이하게 나타난다.

RLVR을 영어 이외의 언어로 확장할 때는 광범위한 성능 향상을 기대할 수 있으나, 언어별 성능 퇴보를 감지하기 위한 포괄적인 평가가 반드시 수반되어야 한다.