Google, AI 에이전트 하네스 자가 개선 위한 RRSI 프레임워크 공개

기존 AI 에이전트 하네스 최적화 방법은 특정 벤치마크에 과도하게 맞춰져 새로운 환경(OOD)에서는 성능이 급락하거나 오히려 하락하는 과적합(overfitting) 문제가 있었다. Google이 공개한 RRSI(Regularized Recursive Self-Improvement)는 하네스 컴포넌트의 자유로운 수정을 허용하되, 검색 루프(search loop)에 규제 장치를 도입하여 이러한 문제를 해결한다.

RRSI의 핵심 규제 장치는 다음과 같다:

• 편집 예산(Edit Budget): 변경 범위를 제한하여 급격한 구조 변경을 방지한다.
• 누출 방지(Critic): 벤치마크 로직이나 정답이 하네스에 직접 포함되는 것을 차단한다.
• 비용 규칙(Cost Rule): 성능 향상 대비 토큰 사용량 증가가 허용 범위를 넘어서면 변경을 거부한다.
• 노이즈 하한(Floor): 통계적으로 유의미하지 않은 미세한 성능 향상은 채택하지 않는다.

실험 결과, RRSI는 Terminal-Bench 2.1, Harvey LAB 등 다양한 벤치마크에서 기존 방법 대비 우수한 전이 성능을 보였다. 특히 학습하지 않은 새로운 벤치마크(OOD)에서 평균 성능이 39.7%에서 43.6%로 향상되었으며, 기존 방법들이 OOD에서 성능이 하락한 것과 대조적이다. 또한 Terminal-Bench에서는 20라운드 동안 단 5개의 편집만 채택하여 74.2%에서 80.9%로 성능을 개선하며 효율성을 입증했다.