라우터 떼니 살아났다

multi-timescale advantages(예: γ = 0.5, 0.9, 0.99, 0.999)를 Actor-Critic에 동적으로 라우팅하면, 정책이 쉽게 irreversible policy collapse에 빠지거나 이상한 local optimum에 갇힌다.

문제의 핵심은 두 가지다.

• Surrogate Objective Hacking: temporal attention이 policy gradient에 노출되면, 최적화가 환경 제어 대신 attention weight를 조작하는 지름길을 찾는다.
• Temporal Uncertainty Paradox: gradient-free로 우회하면 router가 aleatoric uncertainty가 낮은 short-term horizon으로 쏠려, delayed-reward 환경에서 너무 근시안적인 정책이 된다.

해결책은 Representation over Routing이다. multi-timescale prediction은 Critic 쪽에만 남겨 강한 보조 표현을 학습하게 하고, Actor는 가장 긴 장기의 advantage로만 업데이트한다.

이렇게 decouple하면 LunarLander에서 hovering에 머무르지 않고 fuel-efficient landing을 학습하며, 여러 seed에서 200점을 안정적으로 넘긴다고 주장한다. 구현은 pure PyTorch 기반의 4-stage MRE로 정리했고, crash → hover → success 과정을 짧게 재현할 수 있게 했다.