Recursive Language Models, 쉽게 설명

대형 LLM은 1M 토큰 컨텍스트 윈도우를 내세워도, 200쪽 문서나 50K 토큰 문서처럼 긴 입력에서는 질문에 필요한 정보를 제대로 추론하지 못한다. 문제는 길이 자체보다, 토큰이 많아질수록 추론 품질이 무너지는 context rot다.

needle-in-a-haystack 벤치마크는 숨은 문장을 찾는 retrieval은 잘 보여주지만, 수천 개 항목을 세거나 분류하는 추론은 드러내지 못한다. 긴 Claude Code 세션이나 긴 ChatGPT 대화에서 반복이 늘고 응답이 흐트러지는 현상도 같은 맥락이다.

MIT 연구진이 제안한 Recursive Language Models(RLMs) 는 문맥을 프롬프트 안에 한 번에 넣지 않고, 런타임 메모리의 ctx 변수로 분리해 둔다. 모델은 질문만 받은 뒤, Jupyter의 데이터프레임을 다루듯 ctx를 도구로 탐색한다.

핵심 도구는 네 가지다.

• Peek: 앞부분을 훑어 문서 구조를 파악한다.
• Grep: 정규식으로 관련 줄만 추린다.
• Partition: 문맥을 더 작은 청크로 나눈다.
• Recursive call: 필요한 조각에 대해 자기 자신을 다시 호출한다.

이 방식은 인간이 미리 정한 에이전트 워크플로와 다르다. 모델이 먼저 무엇을 볼지, 언제 쪼갤지, 어떤 순서로 파고들지를 스스로 결정한다. 같은 입력이라도 탐색 전략이 과제에 맞게 바뀌며, 문맥은 계속 작은 상태로 유지된다.

예시로 5,000개 고객지원 티켓에서 특정 사용자 3명의 billing 질문 수를 세는 작업을 생각하면, RLM은 먼저 구조를 파악한 뒤 목표 사용자만 grep해 50줄 정도로 줄인다. 그다음 각 항목을 billing/other로 재귀 분류해 루트 모델의 context를 작게 유지한다.

이 접근의 장점은 긴 문서에서도 정확도 유지, 문맥을 더 잘게 나누면 10M 토큰급 입력도 대응 가능, 탐색 과정의 해석 가능성, 단일 대형 호출보다 낮은 비용이다. 핵심은 문맥을 요약 대상으로 보지 않고, 프로그램적으로 탐색할 데이터로 다루는 데 있다.