강화학습의 성능 저하를 막는 Closed-Loop 최적화 기술 PIRL
PIRL: From Open-Loop Exploration to Closed-Loop Reinforcement Learning [R]
기존 강화학습의 Open-Loop 문제를 해결하기 위해 정책 개선 성과를 직접 검증하는 PIRL 프레임워크를 제안한다.
기존의 PPO, GRPO, DAPO 등 대부분의 RL post-training 알고리즘은 현재 배치의 로컬 목표를 최적화한 뒤 바로 다음 단계로 넘어가는 Open-Loop 방식이다. 이 방식은 샘플링 노이즈나 불완전한 신뢰도 할당(Credit Assignment)으로 인해 정책이 의도치 않은 방향으로 드리프트하거나 붕괴될 위험이 있다.
새롭게 제안된 **PIRL(Policy Improvement Reinforcement Learning)**은 업데이트된 정책이 실제로 이전보다 나아졌는지 측정하는 피드백 신호를 도입하여 Closed-Loop 최적화를 구현한다. 핵심은 단순한 로컬 목표 달성이 아니라, 연속된 정책 간의 **실질적인 성능 향상(Performance Gain)**을 직접적인 최적화 목표로 삼는 것이다.
이를 구현하기 위한 실용적인 프레임워크인 **PIPO(Policy Improvement Policy Optimization)**는 두 단계로 작동한다:
- Phase 1 (Exploration): 기존 알고리즘(PPO, GRPO 등)을 사용하여 현재의 로컬 신호에 따라 정책을 탐색적으로 업데이트한다.
- Phase 2 (Retrospect): 업데이트된 정책의 실제 성능 변화를 확인하고, 이를 바탕으로 정책을 강화하거나 교정한다.
이 방식은 기존의 다양한 RL 알고리즘에 즉시 적용 가능한 Plug-and-play 구조를 갖추고 있어, 학습의 안정성을 높이고 최종 작업 성능과의 정렬(Alignment)을 강화한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.