Open Reproduction of DeepSeek-R1

Hugging Face에서 DeepSeek-R1의 핵심 기술을 누구나 재현하고 확장할 수 있도록 돕는 Open-R1 프로젝트를 진행 중입니다. 이 프로젝트는 R1의 학습 파이프라인을 구성하는 핵심 요소들을 오픈소스로 제공하는 것을 목표로 합니다.

주요 구성 요소는 다음과 같습니다:

• src/open_r1: GRPO(Group Relative Policy Optimization)를 이용한 모델 학습, SFT(Supervised Fine-Tuning), 그리고 Distilabel을 활용한 합성 데이터 생성 스크립트를 포함합니다.
• Makefile: 각 단계별 실행을 위한 간편한 명령어를 제공합니다.

현재 프로젝트는 총 3단계 계획 중 1단계를 완료한 상태입니다:

• Step 1 (완료): R1에서 증류(Distill)한 고품질 추론 데이터셋인 Mixture-of-Thoughts(35만 개의 검증된 트레이스)를 공개했으며, 이를 통해 OpenR1-Distill-7B 모델을 학습시키는 레시피를 제공합니다.
• Step 2 (진행 중): R1-Zero와 같은 순수 RL(강화학습) 파이프라인 재현을 위해 수학, 추론, 코딩 분야의 대규모 데이터셋을 구축할 예정입니다.
• Step 3 (예정): 베이스 모델에서 RL 튜닝까지 이어지는 다단계 학습 과정을 입증할 계획입니다.