바이트댄스-칭화대, AIME 2024 50점 달성한 오픈소스 RL 시스템 DAPO 공개

바이트댄스 Seed와 칭화대 AIR가 대규모 LLM 강화학습을 위한 완전 오픈소스 시스템 DAPO를 공개했다. 이 시스템은 알고리즘, 코드 인프라, 데이터셋을 모두 포함하며, 기존 SoTA인 DeepSeek-R1-Zero-Qwen-32B 대비 **50%**의 학습 단계로 AIME 2024에서 50점을 달성했다. DAPO는 Qwen2.5-32B 기반 모델로, 초기 버전(토큰 수준 PG 손실 및 동적 샘플링 제외)은 44점을 기록했으나, 전체 버전은 50점을 달성했다. 시스템은 verl 프레임워크를 기반으로 하며, Volcano Engine 플랫폼에서 실험이 수행되었다.