언어 모델 하네스는 조합적 일반화를 가능하게 한다

현대 포스트 트레이닝은 더 많은 환경과 더 긴 학습 데이터를 계속 쌓는 방식에 의존하고 있다. 근본 원인은 Transformer가 조합적 일반화(compositional generalization), 즉 익숙한 문제들을 조합해 새로운 문제를 푸는 능력이 부족하기 때문이다.

이 글은 그 해법으로 하네스(harness)—외부 환경과 LLM 사이에서 입력을 조율하는 프로그램—에 주목한다. 좋은 하네스는 복잡한 문제를 단순한 하위 문제로 분해하여, 각 LLM 호출이 학습 분포 내(in-distribution) 프롬프트를 받도록 만든다.

실험에는 **RLM(Recursive Language Model)**이 사용됐다. RLM은 컨텍스트를 하위 재귀 호출로 오프로드하는 하네스로, Qwen3-30B-A3B-Instruct-2507을 기반으로 RL 학습을 진행했다. 결과:

• 짧은 태스크만 학습해도 8~32배 긴 태스크에 일반화
• 동일한 학습 성능 향상 대비 평가 성능 향상이 베이스 Transformer보다 약 10배 높음
• 한 도메인 학습이 유사한 분해 전략을 쓰는 다른 도메인으로 전이

이 효과의 원인은 RLM 하네스가 잠재적으로 유사한 태스크들 사이에 동치 관계를 유도하기 때문이다. 구조가 비슷한 태스크는 RLM의 메인 컨텍스트에서 거의 동일한 토큰 궤적을 보이므로, 모델 입장에서는 사실상 동일한 문제가 된다.

이 결과는 모델 아키텍처나 학습 레시피 조정처럼, 하네스 설계가 포스트 트레이닝 비용을 줄이고 커버 가능한 태스크 범위를 늘리는 핵심 레버가 될 수 있음을 시사한다.