GPT-OSS의 Agentic RL 학습 방법론 공개

**Agentic RL(에이전트 강화학습)**은 단일 응답 최적화를 넘어, 모델이 환경과 상호작용하며 도구 호출, 계획 수립, 결과 관찰 등 다단계 의사결정 과정을 학습하도록 하는 방식입니다.

본 글은 OpenAI의 o3-mini 등과 유사한 성능을 보이는 GPT-OSS 모델을 에이전트 애플리케이션의 백본으로 활용하기 위해, Agentic RL 학습을 구현하며 겪은 기술적 과정을 회고합니다.

주요 실험 및 환경:

• 프레임워크: 오픈소스 커뮤니티에서 널리 사용되는 verl 활용
• 태스크: gsm8k, ReTool(코드 컴파일러를 활용한 수학 문제 해결), 검증 가능한 지시 이행 태스크 등
• 대상 모델: GPT-OSS-20B (120B 모델에도 적용 가능)

주요 기술적 도전 과제:

• Harmony 채팅 템플릿 지원: GPT-OSS의 새로운 메시지 포맷인 Harmony 템플릿을 학습 프레임워크가 완벽히 지원하도록 하여, 도구 파싱과 궤적(trajectory) 구축의 일관성을 확보해야 했습니다.
• 학습 불안정성: 초기 학습 과정에서 KL 발산(KL divergence) 및 엔트로피의 폭발적 증가와 보상(reward) 정체 현상이 관찰되는 등 학습 안정성 문제가 발생했습니다.