Alibaba QwenGyre, 에이전트 RL의 on-policy 드리프트와 하네스 일관성 과제 제시

에이전트 워크플로우를 위한 강화학습은 롤아웃 생성 모델과 업데이트 대상 모델이 동일해야 하는 on-policy 가정에 의존한다. PPO의 중요도 비율이 이상적으로 1.0이어야 하기 때문이다. 하지만 세션이 길어지면 일관성 유지가 어려워진다. Alibaba의 QwenGyre 논문은 122B 모델의 평균 롤아웃 시간이 2시간, 2.4T 플래그십 모델은 4시간을 초과한다고 보고했다. 하네스와 샌드박스 등 외부 요인이 영향을 미치기 때문이다.

하네스 및 환경 일관성

에이전트 후처리에는 모델뿐 아니라 추론 엔진, 하네스, 샌드박스 환경이 포함된다. Alibaba는 관련성을 확보하기 위해 Claude Code 같은 자체 하네스를 사용하지만 블랙박스 제어 흐름으로 인해 어려움을 겪는다. GPU 활용률을 관리하기 위해 프록시를 통해 요청을 라우팅하고 학습 및 롤아웃 셀 간 KV 캐시를 이동시킨다. DeepSeek은 자체 하네스를 사용하며, 4.1 버전에서는 상태(DRAM 및 파일 시스템)를 동결하기 위해 하네스를 샌드박스 내부로 이동시켜 에이전트 루프 재구축을 피했다.

궤적 및 트리 복잡성

도구 호출은 모델 출력이 아닌 토큰을 생성하므로 학습 시 마스킹 처리가 필요하다. 추론 서버가 텍스트를 파싱하면서 값이 변경될 수 있다(예: false가 False로 변경). 이를 해결하기 위해 Prime Intellect의 Renderers 라이브러리나 QwenGyre의 프록시 페이로드 캐싱을 사용한다. 현대 에이전트는 하위 에이전트를 생성하고 병렬 호출을 수행하여 트리 구조의 궤적을 만든다. Tree Training은 이러한 트리를 스트림으로 직렬화하고 분기 빈도에 따라 토큰에 가중치를 부여한다. QwenGyre는 학습 가능한 경로를 5개로 제한하고 가중치를 평균화하여 하위 에이전트가 많은 롤아웃이 그래디언트를 지배하는 것을 방지한다.

학습-추론 불일치

추론 엔진(SGLang, vLLM)은 지연 시간을 우선시하여 작은 배치 크기를 사용하는 반면, 학습 엔진(Megatron, TorchTitan)은 처리량을 우선시하여 큰 배치 크기를 사용한다. 이로 인해 커널이 다르고 부동소수점 연산에서 비트 단위의 차이가 발생한다. 해결책으로는 이전 로그 확률 재계산(비용 높음)이나 비율 클리핑(Megatron 개발자들이 비판한 임시방편)이 있다. 비트 단위 동등성을 달성하기는 어렵다. 감소 순서를 고정하면 성능이 10-20% 저하될 수 있다. Meta와 Colfax 연구는 이러한 비용을 지적하며, AReaL-TIK은 추론과 학습이 공유하는 단일 비트 일관성 커널에서 시작하는 에이전트 루프로, 에이전트를 사용해 속도를 최적화하면서 동등성을 유지한다.