SWE 에이전트를 위한 예산 인식형 실행을 통한 Best-of-N 성능 향상

기존의 SWE 에이전트 실험에서는 모든 작업의 난이도가 동일하다는 가정하에 일관된 컴퓨팅 예산을 적용해 왔다. 하지만 실제 작업 난이도는 **heavy-tailed distribution(두꺼운 꼬리 분포)**을 따르며, 상당수의 작업은 적은 노력으로도 해결 가능하다.

예를 들어, SWE-rebench 벤치마크의 약 50% 작업은 단 한 번의 GPT-5.2 롤아웃으로 해결되었음에도 불구하고, 기존 정책은 모든 작업에 5번의 롤아웃을 소모하여 불필요한 비용을 발생시켰다.

이에 AI21은 작업 난이도에 따라 컴퓨팅 자원을 적응적으로 할당하는 **budget-aware execution strategies(예산 인식형 실행 전략)**를 제시한다. 주요 전략은 다음과 같다:

• Cascading with early stopping: 작업이 조기에 해결되면 다음 롤아웃을 중단하여 마지막 롤아웃 비용을 절감한다.
• Parallel execution with early stopping: 병렬 실행을 통해 마지막 롤아웃을 기다리는 대기 시간을 줄여 속도를 최적화한다.

이러한 전략을 통해 품질을 유지하면서도 비용과 속도 사이의 최적의 균형점을 찾을 수 있다.