장기 추론의 '복구 불가능 병목 현상' 해결하기

LLM의 **장기 실행(Long-horizon execution)**은 고수준 전략이 주어지더라도 여전히 불안정한 모습을 보인다. 문제를 잘게 쪼개는 분해(Decomposition) 과정은 안정성에 필수적이지만, 지나친 분해는 오히려 오류를 수정할 수 없는 **'복구 불가능 병목 현상(No-recovery bottleneck)'**을 야기한다.

이 병목 현상은 오류가 특정 '어려운' 단계에 집중되어 발생하는 비균일한 오류 분포 때문에 발생하며, 한 번 발생한 오류가 전체 추론 과정을 되돌릴 수 없게 만든다. 이를 해결하기 위해 **LEAD(Lookahead-Enhanced Atomic Decomposition)**를 제안한다.

LEAD의 핵심 메커니즘은 다음과 같다:

• **단기 미래 검증(Short-horizon future validation)**을 통한 예측 및 확인
• **중첩된 롤아웃(Overlapping rollouts)**의 집계

이 방식은 안정성을 유지할 수 있는 충분한 격리(Isolation)를 제공하는 동시에, 오류를 수정할 수 있는 국소적 문맥(Local context)을 유지한다. 실험 결과, o4-mini 모델은 기존의 극단적 분해 방식이 실패했던 복잡도 $n=11$을 넘어, Checkers Jumping 과제에서 $n=13$까지 성공적으로 해결했다.