재귀적 자기 개선의 첫 실험적 증거

AIDE²는 두 개의 중첩된 자동연구(autoresearch) 루프로 재귀적 자기 개선을 구현했다. 내부 루프는 일반적인 자동연구 에이전트처럼 평가(eval) 대상 코드를 최적화하고, 외부 루프는 내부 루프 에이전트의 하네스 코드를 다양한 벤치마크에서의 평균 점수에 대해 최적화한다.

100회 반복 후 외부 루프는 기준선(baseline)에 비해 7가지 개선사항을 발견했다. 새로운 탐색 정책, 프롬프트를 16배 압축하는 메모리 시스템, 보상 해킹(reward hacking) 방어 메커니즘 등이 포함된다.

외부 루프가 본 적 없는 홀드아웃 벤치마크에서 테스트한 결과, 발견된 에이전트들은 일반화되었고 2년간 손으로 튜닝한 에이전트를 세 가지 벤치마크 모두에서 능가했다. 두 벤치마크는 학습 작업 범위 내에 있었고, 한 벤치마크는 물리 기반 날씨 모델 개선이라는 완전히 다른 영역이었다.

흥미롭게도 외부 루프는 프롬프팅과 규칙 기반 검사 조합을 통해 내부 루프 에이전트의 보상 해킹 비율을 낮추는 현상도 보였다. 이는 보상 해킹으로 인해 문제가 있던 GPU 커널 엔지니어링 작업에서 벤치마크되었다.

연구팀은 이를 RSI 사다리의 Level 1로 분류했으며, 자기 개선 효율이 일반 AI 도구를 사용한 수동 R&D를 능가했다고 평가했다. Level 2(개선된 내부 에이전트를 외부 루프로 사용)도 테스트했지만 결과는 엇갈렸으며 자기점화(ignition)는 주장하지 않았다.