DeepSeek R1 'Aha Moment' 재현 가이드

DeepSeek R1이 보여준 "aha moment"(모델이 스스로 사고 시간을 늘리고 전략을 재평가하며 추론 능력을 키우는 현상)를 소형 모델에서 재현하는 기술적 방법을 다룬다.

Countdown Game이라는 숫자 퍼즐을 활용하여, 별도의 인간 피드백 없이 강화학습(RL)만으로 모델이 자기 검증 및 탐색 능력을 스스로 학습하도록 유도한다.

핵심 알고리즘인 **GRPO(Group Relative Policy Optimization)**는 기존 PPO와 달리 가치 함수(Value Function) 모델 없이 그룹 내 점수를 통해 베이스라인을 추정함으로써 메모리 사용량과 계산 비용을 줄인다.

• Sampling: 프롬프트별로 여러 출력을 생성.
• Reward Scoring: 규칙 또는 결과 기반 보상 부여.
• Advantage Calculation: 그룹 내 평균 보상을 기준으로 이점(Advantage)을 계산 및 정규화.
• Policy Optimization: 계산된 이점과 KL 발산(KL divergence)을 활용해 정책 최적화.

본 가이드는 DeepSpeed와 vLLM을 이용한 분산 학습 환경 구축을 포함하며, 4x NVIDIA H100 GPU 환경에서의 실행 사례를 제공한다.