[AAAI 2026] RL-Studio: 다단계 강화학습 실험을 위한 시스템

기존의 강화학습(RL)은 Online RL과 Offline RL, 그리고 이 둘을 결합한 Offline-to-Online RL 패러다임에 머물러 있었습니다. 하지만 실제 산업 현장과 로봇 제어 환경은 학습 방식, 알고리즘, 환경(Sim-to-Real)이 유연하게 변화해야 하는 더 복잡한 프로세스를 요구합니다.

LG AI연구원 PI Lab은 이러한 한계를 극복하기 위해 Multi-Phase RL framework와 이를 지원하는 플랫폼 RL-Studio를 개발했습니다. 이는 단순히 'Offline에서 Online'으로 넘어가는 고정된 단계를 넘어, 다양한 학습 전환(Transition)을 체계적으로 관리할 수 있도록 설계되었습니다.

연구팀은 두 가지 시나리오를 통해 성능을 입증했습니다.

• Fine-Tuning 시나리오: TD3-BC(Offline)로 사전 학습한 후 TD3(Online)로 미세 조정하여 높은 샘플 효율성을 달성함.
• Adaptation 시나리오: 시뮬레이션 환경에서 학습한 정책을 실제 환경(중력 변화 등)에 적용할 때, 다른 알고리즘(SAC)으로 전환하여 빠르게 수렴함.

RL-Studio는 연구자들이 '언제 단계를 전환할지', '어떤 조합이 최적인지'와 같은 핵심 질문에 체계적으로 접근할 수 있도록 돕는 실험 플랫폼 역할을 수행합니다.