HuggingFace, Open-R1 프로젝트 공개

DeepSeek-R1은 강화 학습(RL)을 통해 추론 능력을 극대화한 혁신적인 모델이지만, 학습에 사용된 데이터셋과 구체적인 코드가 완전히 공개되지 않아 연구 커뮤니티에 의문이 남아 있다.

HuggingFace는 이를 해결하기 위해 Open-R1 프로젝트를 런칭했다. 이 프로젝트는 DeepSeek-R1의 데이터 수집 및 학습 파이프라인을 체계적으로 재구성하여 다음과 같은 목표를 달성하고자 한다.

• 투명성 확보: 강화 학습이 추론 능력을 어떻게 향상시키는지에 대한 과정을 공개
• 재현 가능성: 오픈 소스 커뮤니티가 활용할 수 있는 검증된 데이터와 학습 레시피 공유
• 연구 확장: 다양한 모델 규모와 데이터 조합에 따른 스케일링 법칙(Scaling Laws) 탐구

Open-R1은 DeepSeek-R1의 핵심인 GRPO(Group Relative Policy Optimization) 활용 방식과 콜드 스타트(Cold-start) 단계를 포함한 전체 프로세스를 재현하여, 오픈 소스 추론 모델의 기반을 마련할 계획이다.