재귀적 언어 모델(RLM) 강화학습

Qwen3.5-4B를 RL로 미세조정해 RLM의 부모와 자식 역할을 하나의 공유 정책으로 학습시켰다. 자식 롤아웃은 부모 롤아웃의 advantage를 그대로 상속하고, 자식 수로 나눠 손실을 계산해 별도 보상 없이도 재귀적 작동을 배우게 했다.

RLM은 Python REPL 안에서 동작한다. 모델은 코드를 써서 문서를 탐색하고, FINAL, FINAL_VAR, rlm_query, rlm_query_batched로 답을 제출하거나 하위 RLM을 호출한다. 기본 도구로는 list_papers, search, extract_section, get_paper_abstract를 넣어 여러 논문에서 근거 구간을 빠르게 찾게 했다.

데이터는 alphaXiv에서 고른 논문을 중심으로 최대 9편의 유사 논문을 묶고, OCR 모델로 정답 근거를 만든 뒤 총 1,000개의 합성 질의를 생성했다. 그룹은 최대 10편, 질문은 그룹당 최대 3개까지 만들었고, 테스트에서는 OCR이 아니라 PDF 파서의 노이즈가 섞인 텍스트를 사용해 실제 운영 환경을 모사했다. 정해진 top-k를 뽑는 RAG보다, 가변 길이의 원문 스니펫을 동적으로 반환해야 하는 이 과제에는 RLM이 더 맞았다.

학습에서는 몇 가지가 관건이었다.

• 작업 전략을 프롬프트에 넣지 않으면 Claude Sonnet 4.6도 rollout 생성에 약 90초가 걸렸고, 전략을 주면 30초로 줄었다.
• 단일 논문 과제는 검색 전략을 프롬프트에 명시해야 했고, cold-start SFT 없이는 Qwen3.5-4B의 pass@16이 사실상 0이었다.
• SFT는 Qwen3.5-397B-A17B가 만든 rollout에서 REPL 오류와 0 F1 사례를 걸러 소규모로만 수행했다.
• 턴마다 사용자 프롬프트가 다시 붙는 구조라 rollout을 한 샘플로 쓸 수 없었고, 각 턴을 별도 샘플로 분해해 GRPO를 적용했다.
• 보상은 F1 같은 검증식 신호보다 rubric-based LLM judges가 더 안정적이었다.

이 방식으로 단일 논문 과제의 judge score는 약 0.6에서 0.8로 올랐다. 다중 논문 재귀 과제에서는 root만 학습하거나 frozen model을 쓰는 방식 대신, child도 on-policy로 묶어 한 정책이 decomposer와 sub-agent를 모두 익히게 했다. 그 결과 동일한 RLM harness와 REPL 환경에서 증거 선택(evidence selection) 과제용으로 RL 미세조정한 4B 모델이 Claude Sonnet 4.6에 맞먹는 성능을 보였고, 크기와 비용은 훨씬 작았다.