자동화된 AI 연구를 향한 첫걸음

Recursive는 아이디어 제안부터 구현, 실험, 검증 및 다음 실험 선택까지의 연구 루프를 자동화하는 시스템을 개발했다. 이 시스템은 오픈 엔드 알고리즘 원칙을 활용하여 스스로 성능을 개선하는 재귀적 자기 개선(Recursively self-improving) AI를 목표로 설계되었다.

시스템은 세 가지 핵심 벤치마크에서 SOTA(State-of-the-art) 성과를 거두었다:

• NanoChat Autoresearch: 고정된 컴퓨팅 예산 내에서 소형 언어 모델 학습 시, 기존 커뮤니티 결과보다 1.3배 빠른 속도로 동일한 손실(Loss) 도달
• NanoGPT Speedrun: 특정 성능에 도달하는 학습 시간을 2.2초 단축
• SOL-ExecBench: GPU 커널 최적화 작업에서 최적 성능과의 격차를 18% 감소

특히 NanoChat 테스트에서 시스템은 인간과 에이전트가 협력한 autoresearch@home 커뮤니티의 결과보다 뛰어난 성능을 보여주었으며, 매우 기초적인 모델(Vanilla Transformer)에서 시작하더라도 성능을 크게 개선할 수 있음을 입증했다.