General Reasoning, 집단 보상 기반 RLCR 레시피 공개

General Reasoning가 '집단 보상 기반 강화학습'(RLCR) 레시피를 공개함. 공유 정책과 평탄한 집단 이점을 사용하는 핵심 정책 그라디언트 알고리즘으로 에이전트 스웜을 학습하는 방식임.
시간 제한을 통해 지연 압력을 가해 빠른 완료를 보상함으로써 '집단 추론 시간 확장'을 유도함. 이전의 지연 패널티 방식과 달리 매 초를 명시적으로 벌점 처리하지 않음.
Avalon-M1 구현에서 5~8명 규모의 집단이 초기에는 평균 이하의 성능을 보였으나, 200스텝 시점에 평균 유익한 작업량의 거의 2배에 도달함. 단일 에이전트가 4배의 시간을 소요하는 동일한 토큰 예산 조건에서 단일 에이전트 베이스라인을 상회함.
순차 추론 모델의 높은 지연 문제를 에이전트 간 작업 분산으로 해결하려 했으나, 9개 학습 에이전트에서 수천 개 배포 에이전트로의 확장을 위한 '마을 문제'와 장기 다중 에이전트 환경의 크레딧 할당을 위한 '불안한 삼각형'이라는 과제를 직면함.
결과에 언급된 벤치마크는 EdgeBench, SWE-Bench Pro V2 (Hard), Terminal-Bench 2.1, IMO-ProofBench-Advanced임.
시스템별 통신 원시값이 상이하며, Kimi K2.5 Agent Swarm은 K2.6에서 오케스트레이터와 최대 300개의 서브 에이전트를, OpenAI의 Navier-Stokes 시스템은 섬 그룹 내 약 10,000개의 에이전트를 사용함.

핵심 내용