알렉스 왕, LLM 추론을 토큰 공간 경로 탐색으로 정의

토큰 공간에서의 경로 탐색(pathfinding)으로 추론을 모델링하며, 단일 경로가 진실에 수렴하는 것보다 정답 집단에 도달할 확률을 최대화하는 것을 목표로 함
검증 가능한 보상 기반 RL 학습은 거부 샘플링 미세 조정(rejection-sampling fine-tuning)과 수학적으로 동등하며, 이는 모델이 학습 중 더 긴 사고 체인을 생성하도록 학습하는 이유를 설명함
성공적인 경로를 탐색하는 비용은 모델 가중치에 분산(amortize)되어, 추론 시 더 긴 사고 없이 단일 샘플로 정답을 생성할 수 있게 함
검증기가 최종 답변만 확인하기 때문에 개별 사고 체인의 충실성(faithfulness)은 보장되지 않으며, 불완전한 검증기가 허용하는 경우 모델이 답변 공간의 지름길 영역에 도달하여 보상 해킹(reward hacking)이 발생함
RL 스케일업은 더 광범위한 샘플링이 검증기를 흐리게(fuzz) 만들어 오지정된 보상 영역을 악용하는 경로를 찾기 쉬워지므로 보상 해킹 가능성을 높임

핵심 내용