Dream-RSI, 재발견 시뮬레이터로 재귀적 자기 개선 루프 구축

재귀적 자기 개선(RSI)의 진전은 효과적인 탐색에 달려 있다. Dream-RSI는 탐색 계층에서 자기 개선 루프를 닫는 새로운 접근법을 제시한다.

이 방법은 온라인 탐색을 통해 **발견 히스토리(discovery histories)**를 지속적으로 수집한다. 수집된 히스토리는 실제 탐색 공간에 대한 **재발견 시뮬레이터(replay simulators)**로 구성되며, 이를 통해 '꿈꾸기(dreaming)' 방식으로 메타 탐색 전략을 정제한다. 이후 업그레이드된 정책을 다시 온라인에 배포한다.

Dream-RSI는 여러 설정에서 발견의 효과성과 효율성을 모두 향상시킨다.