RSI-Anything, 월드 모델로 정책-모델 결합 갱신

PhAI Labs와 주요 대학 연구진이 외부 피드백 비용이 높은 환경에서 **월드 모델(World Model)**의 예측으로 실행 후보를 선별하고, 정책과 월드 모델을 함께 갱신하는 RSI-Anything 프레임워크를 제안했습니다. 이 연구는 정책 변경 시 월드 모델의 예측 신뢰도가 떨어지는 '결합 갱신(coupled-update)' 문제를 해결하기 위해 정책-월드 모델 쌍을 개선 단위로 설정했습니다.

핵심 메커니즘 및 검증

• JEPA-Anything 기반 월드 모델: 직교 예측 분해(OPF)를 적용해 잠재 상태와 후보 행동을 예측합니다.
• 선택적 갱신: 정책은 피드백으로 갱신하되, 월드 모델은 예측이 신뢰할 수 없고 적응 데이터가 충분할 때만 갱신합니다.
• 검증 프로세스: 구성요소 검사와 쌍 호환성 검사를 통과한 경우에만 기존 모델을 교체합니다.

주요 실험 결과

• 코드 복구 (CodeContests): 숨김 테스트 성공률이 무작위 26.0%에서 정적 검증기 26.3%, 고정 월드 모델 29.2%, 월드 모델 적응 31.2%로 향상되었습니다.
• GUI 조작 (MiniWoB++): 개발 세트에서 정책 순위를 따르는 실행 규칙(alpha=0) 적용 시 성공률이 99%까지 상승했습니다. 다만, 이는 규칙 기반 기준선(100%)과 비교해 진단용 성격이 강합니다. 월드 모델 값으로 후보를 고르는 '월드 기반 제어' 방식에서는 성공률이 49%에서 98%로 올랐으며, 월드 모델 갱신 효과는 평균 +53.23%p로 나타났습니다.
• 실험실 계획 (LabHorizon): 4B 정책 모델의 Final Score가 **46.01%**로, 기존 기준선(45.32%)을 상회했습니다.

한계 및 주의사항

• GUI의 99% 성공률은 정책 순위를 따르는 실행 규칙 결과이며, 규칙 기반 기준선은 100% 성공을 기록해 월드 모델의 직접적 기여보다는 학습형 에이전트의 개선 과정 관찰용 과제 성격이 강합니다.
• 반응 최적화 실험은 측정된 수율 표를 재사용한 오프라인 평가로, 실제 실험이 아닌 예측 기반 선택 효율을 입증했습니다.
• 면역학 응용은 실험 대기 상태이며, 코드 복구 재현 시 배포된 기준 체크포인트가 일부 검사를 통과하지 못하는 등 재현성 문제가 언급되었습니다.