LG AI Research 294

기존의 **모방 학습(IL)**은 전문가의 행동(Action) 정보가 필수적이었으나, 인간은 운전이나 영상 시청처럼 상태(State) 변화만을 관찰하고도 학습할 수 있다. 이를 모방하는 기술을 **관찰 학습(LfO, Learning from Observation)**이라 한다.

기존의 오프라인 LfO 방식은 환경과의 상호작용 없이 미리 수집된 데이터를 사용하지만, 두 가지 주요 한계가 존재한다. 첫째, Off-policy LfO 알고리즘은 분포 외(OOD) 액션 값 사용으로 인해 학습이 불안정하다. 둘째, **역 동역학 모델(Inverse Dynamics Model)**을 사용하는 방식은 확률적 환경에서 전문가의 행동을 정확히 예측하는 데 한계가 있다.

본 연구는 이러한 문제를 해결하기 위해 새로운 수식 기반의 알고리즘을 제안한다. KL Divergence 최소화와 정규화 기법을 활용하여, 데이터의 분포를 벗어나지 않으면서도 오프라인 환경에서 최적의 성능을 낼 수 있도록 설계되었다.