Prime-RL 후학습으로 빠르고 정확한 에이전트 만들기

Ramp Sheets의 스프레드시트 검색 에이전트 Fast Ask는 메인 에이전트가 필요한 숫자나 행을 대신 찾아주는 retrieval subagent다. 내부 트레이스에서는 메인 에이전트의 tool call 중 **17.8%**가 탭 열기, 범위 읽기, 불필요한 시트 필터링에 쓰였고, 그중 약 **75%**는 곧바로 추가 read call로 이어졌다.

그래서 Ramp는 범용 모델 대신 retrieval만 맡는 전문 모델을 RL post training으로 만들었다. Ramp는 Prime Intellect의 prime-rl stack, Hosted Training, verifiers framework 위에서 이를 학습시켰고, 결과물은 Qwen3.5-35B-A3B 계열을 미세조정한 약 30억 활성 파라미터 모델이었다. 이 모델은 Claude Haiku 4.5 수준의 latency를 내면서 held-out eval의 exact-match accuracy에서 Claude Opus 4.6보다 4%p 높았다.

학습 환경은 실제 배포 하네스를 그대로 반영했다.

• 합성 워크북과 자연어 질문, 정답으로 구성한 재무형 데이터셋을 썼다.
• revenue rollup, invoice reconciliation, spend analysis, time-filtered lookup, multi-join aggregation 등 14개 task type을 만들었다.
• 각 task를 3가지 문장 변형으로 만들고, reconciliation task에는 invoice clue 변형을 추가했다.
• 매 패스마다 14개 task type을 모두 한 번씩 내보내는 balanced round robin으로 배치를 구성했다.
• decoy sheets, partial helper summaries, identifier obfuscation으로 탐색 압박을 높였다.
• 도구는 get_workbook_metadata, read_ranges, run_python의 3개 tool과 15턴 budget뿐이었다.

RL 설정도 단순하게 유지했다. 각 질문마다 8개 rollout을 샘플링하고 GRPO로 그룹 내 상대 보상을 학습했으며, tool-use rollout이 느린 점을 감안해 Prime Intellect의 async off-policy training과 AIPO-style clipped importance-weighted objective를 사용했다. reward는 정확한 ANSWER: 파싱과 exact match를 최우선으로 두고, 턴 수와 불필요한 텍스트에는 작은 shaping reward만 줬다. 학습은 100 step을 약 26시간 동안 돌렸고, batch size 256, 20 step마다 held-out 128개 예제로 평가했으며, thinking mode를 꺼 실제 저지연 운영 조건과 맞췄다.

학습은 초반부터 빠르게 수렴했다. reward는 첫 40 step 동안 0.2에서 0.8까지 올라갔고, 최종적으로 base model 대비 정확도는 10%p 개선됐다. 평균 완료 시간은 줄었지만 읽은 cell 수는 크게 변하지 않아, 더 적게 읽기보다 더 잘 읽는 정책을 배웠다는 점이 드러났다.

핵심 결론은 분명하다. 정답이 결정적이고 검증 가능한 retrieval 작업이라면, 메인 에이전트와 분리한 전문화 subagent를 RL로 학습시키는 편이 더 빠르고 싸며 더 정확하다.