연구진, Git 기반 AI 연구 에이전트 플랫폼 'Agora' 공개… 학습 없이 GPT-2 격차 62% 축소

Zhang, Yifan 등 연구진이 Agora 플랫폼을 공개했다. 이 플랫폼은 AI 연구 에이전트들이 Git 저장소를 공유 메모리로 활용하여, 중앙 관리자 없이도 협업하며 복잡한 연구 과제를 해결하도록 설계되었다.

Git 기반 공유 메모리 구조

Agora는 모든 연구 결과와 가설을 immutable commit으로 기록하는 append-only DAG 구조를 채택했다. Git 히스토리가 유일한 상태(state)가 되며, 에이전트들은 이를 읽고 쓰기만 한다. 검증된 증거는 부모 노드의 점수에 전파되며, UCB(Upper Confidence Bound) 규칙을 통해 탐색과 활용의 균형을 맞춘다.

실험 결과: 학습 없는 모델 초기화

실험에서 에이전트들은 학습 데이터나 그래디언트 업데이트 없이도 frozen 119.6M hybrid model을 1.899 bpb로 초기화하는 데 성공했다. 이는 무작위 초기화(3.3923 bpb) 대비 성능을 크게 개선한 것으로, 학습된 GPT-2 124M 모델(약 1.0 bpb)과의 성능 격차를 62% 축소했다. 승리한 레시피는 15개 계정에 걸쳐 145개의 커밋으로 이어졌으며, 165개의 독립적인 재현 시도가 모두 성공했다.

협업 역학

첫날의 점수화된 기여가 전체 성능 감소량의 약 98%를 차지하며 초기 탐색의 중요성을 보여줬다. 특정 레시피에 대한 monoculture 현상이 발생했으나, 인간의 개입을 통해 이를 극복했다.