Agentic GRPO: 에이전트 학습 최적화

기존 LLM 강화학습(RL)은 하나의 프롬프트에서 최종 답변까지 이어지는 단일 경로(trajectory)를 처리합니다. 하지만 도구 호출, 코드 실행, 디버깅 등을 반복하는 에이전트 시스템은 경로가 매우 길고 보상이 늦게 도착하며, 학습 중 정책이 변하는 'off-policy drift' 문제로 인해 학습이 매우 어렵습니다.

Agentic GRPO는 이러한 문제를 해결하기 위해 **GRPO(Group Relative Policy Optimization)**를 에이전트 워크플로우에 맞게 최적화한 알고리즘입니다. GRPO는 여러 샘플을 그룹화하여 상대적인 순위를 매기고 더 나은 경로에 보상을 주는 방식을 사용합니다.

이 알고리즘의 핵심 혁신은 **즉각적인 보상(Immediate rewards)**과 **지연된 수정(Delayed correction)**의 결합입니다.

• 즉각적 업데이트: 중간 단계에서 피드백이 발생할 때마다 즉시 모델을 업데이트합니다.
• 소급 수정: 최종 결과가 확인되면, 이전에 수행했던 업데이트들을 소급하여 수정합니다.

이러한 방식을 통해 에이전트가 긴 단계의 작업을 수행할 때 발생하는 학습 불안정성을 줄이고 효율적인 학습을 가능하게 합니다.