Apple, 리셋 없는 RL의 '비가역성 절벽' 측정하는 REVERSAL-BENCH 공개

Apple 연구진이 REVERSAL-BENCH를 공개하며, 외부 리셋 없이 지속 학습하는 자율 강화학습(RL)의 한계를 분석했다. 기존 연구들은 환경의 가역성을 전제했지만, 실제 물리 조작 환경에서는 물체를 테이블에서 밀어뜨리거나 알갱이를 흘리는 등의 비가역적 사건이 발생한다.

비가역성 절벽(Reversibility Cliff) 현상

REVERSAL-BENCH는 연속 파라미터 **ρ∈[0, 1]**로 가역성을 조절하고, 상태 복구 가능성을 검증하는 **리셋 오라클(reset oracle)**을 제공한다. 5가지 물리 엔진의 8개 조작 환경에서 다양한 정책 아키텍처를 평가한 결과, 가역성(ρ)이 증가함에 따라 리셋 없는 에이전트는 복구 불가능한 상태로 흡수되어 학습이 영구적으로 중단되는 비가역성 절벽 현상이 발생했다. 반면, 에피소드 기반 에이전트는 안정적인 학습을 유지했다.

인과 관계 검증 및 안전성 연구

이러한 성능 저하가 단순한 장애물 복잡도가 아닌 비가역성 자체에 기인함을 확인하기 위해, 기하학적으로 동일한 가역적 환경과 비교했다. 또한, 비가역적 실패 발생 전에 개입하는 **안전 쉴드(safety shield)**를 평가한 결과, 복구 가능성 예측은 정확했으나 실제 회복은 에이전트가 물리적으로 함정을 피할 수 있을 때만 성공했다. 연구팀은 벤치마크 스위트, 복구 가능성 라벨이 포함된 멀티 시뮬레이터 데이터셋, 리셋 오라클을 공개했다.