Google과 UW-Madison, 연구 아이디어 자동화 프레임워크 AIM 공개

Google Cloud AI Research와 위스콘신대 매디슨 캠퍼스(UW-Madison)가 연구 아이디어 관리를 자동화하는 프레임워크 AIM(Agentic Idea Management)을 공개했다. 이 시스템은 베이지안 최적화 원리에서 영감을 받아 아이디어 공간의 이해와 실험 예산 배분을 분리해, 연구 방향과 증거를 검증 가능하게 만든다.

프레임워크 구조

AIM은 네 가지 구성 요소로 작동한다:

• Agentic Surrogate: 의미적 방향에 따라 아이디어를 분류하고, 관측된 점수와 교훈을 바탕으로 잠재력을 추정한다.
• Agentic Acquisition: 고득점 클러스터를 활용하거나 새로운 아이디어를 탐색할지 결정하며 병렬 솔버를 배치한다.
• Solution Auditor: 작업의 유효성을 검증하고 구현된 솔루션이 제안된 아이디어와 일치하는지 확인해 점수를 정확히 귀속한다.
• Resource Planner: 실행 예산 내에서 병렬 처리와 순차적 라운드의 균형을 맞춘다.

성능 결과

10개 작업에 대한 평가에서 AIM은 기준 모델인 ScientistOne 대비 개선된 성과를 보였다:

• 작업 그룹 평균: 시스템 최적화에서 AIM은 평균 67.0점을 기록해 ScientistOne(65.4점)보다 1.6%p 높았다. CUDA/모델 작업에서는 AIM이 55.8점으로 ScientistOne(50.9점)보다 4.9%p 높았다.
• 개별 작업 향상: Data Selection IFEval 작업에서 AIM은 61.8점을 기록해 ScientistOne의 45.1점보다 16.7%p 높게 나타났다. Flash Attention 작업에서는 AIM이 90.5점으로 ScientistOne의 86.2점보다 4.3%p 높았다.
• 효율성: Flash Attention 작업에서 AIM은 ScientistOne의 최고 점수에 최대 3.1배 빠르게 도달했다. AIM은 3.3시간 만에 자체 최고 점수인 90.5%를 달성했다. 저자들은 AIM이 작업 그룹 평균에서 우위를 보이지만 개별 결과는 다양하며, AdaEvolve 등 다른 방법이 특정 사례에서 더 나은 성능을 보일 수 있다고 언급했다.