AI 추론: 계획 vs 예측

현재의 LRM은 내부 thinking tokens와 **Chain of Thought (CoT)**를 강화해 정답까지 가는 경로를 찾지만, 저자들은 이를 다음 토큰 예측의 확장판으로 본다. RL로 끝점 보상만 학습하고 추론 시 긴 체인을 탐색하는 방식은 입력별 자원 배분이 비효율적이며, 체인이 길어질수록 검색 공간과 비용이 급격히 커진다.

저자들이 지적하는 핵심 한계는 다음과 같다.

• 보상이 체인 끝에만 주어져 중간 단계 학습이 어렵다.
• 투명성, 예측 가능성, 커스터마이즈 가능성이 부족하다.
• 입력 크기와 난도가 커지면 일반화가 빠르게 무너질 수 있다.
• 병렬화와 자원 적응을 세밀하게 제어하기 어렵다.

대안은 토큰이 아니라 action sequence 공간에서 탐색하는 planning이다. 외부 컨트롤러가 LLM과 검색, DB 호출, 툴 사용을 오케스트레이션하고, 계획은 비용과 성공 확률을 함께 모델링해야 한다. 학습 단계에서는 계획 방법을 익히고, 테스트 단계에서는 사전 계획을 상황에 맞게 구체화하며 실행과 계획을 번갈아 수행해야 한다. 확률적 환경의 대표 기법으로 **Monte Carlo Tree Search (MCTS)**도 언급되며, 각 단계는 verifier로 검증해야 한다.

AI21은 계획을 표현하기 위한 제한된 Python 서브셋 언어, 명확한 목표 정의, decision-theoretic planning, anytime execution, parallelism, human in the loop, 그리고 필요한 경우의 거절까지 핵심 원칙으로 제시한다. 마지막으로 AI21 Maestro 사례를 통해, LLM-as-a-Judge와 코드 기반 검증기를 붙인 IFEval에서 GPT-4o는 약 85%에서 91.9%로, Claude Sonnet 3.5는 약 88%에서 95.2%로, o3-mini는 약 92%에서 95.7%로 개선됐다고 소개한다.