AI가 혼자 완수할 수 있는 가장 큰 소프트웨어 프로젝트는 무엇인가?

Epoch AI와 METR이 MirrorCode라는 장기 자율 코딩 벤치마크를 공개했다. 모델은 원본 소스 코드나 인터넷에 접근하지 않고, 전체 프로그램을 처음부터 재구현해야 하며 비공개 엔드투엔드 테스트까지 원본과 동일한 출력을 내야 한다.

벤치마크에는 Unix 유틸리티, 데이터 직렬화·쿼리 도구, 바이오인포매틱스, 인터프리터, 정적 분석, 암호화, 압축 등 다양한 분야의 25개 프로그램이 포함됐다. 일부 과제는 인간 엔지니어가 AI 없이 해결하는 데 수개월이 걸릴 수 있도록 설계됐으며, 가장 큰 과제의 한 번 실행에는 19일과 2,600달러가 들었다.

주요 사례로 Claude Opus 4.7은 약 1만6,000줄의 Go 코드와 40개 이상의 명령어로 구성된 바이오인포매틱스 도구 gotree를 14시간, 251달러 만에 재구현했다. 연구진은 이 작업에 인간 엔지니어가 AI 없이 2~17주 걸릴 것으로 추정했다.

현재 정기 리더보드는 Medium·Large 규모의 15개 프로그램을 Go와 Ada로 각각 구현하는 30개 과제를 대상으로 한다. 각 과제는 10 billion tokens와 7일의 예산으로 세 차례 실행된다. 공개된 결과에서는 Claude Fable 5가 64%, GPT-5.6 Sol이 20%, GPT-5.4가 16%, GPT-5.5가 **10%**의 solve@100% 비율을 기록했다.

다만 대상 프로그램이 오픈소스인 만큼 모델의 사전학습 데이터에 원본 코드가 포함됐을 가능성이 있다. 연구진은 암기 여부를 검사한 결과가 성능을 완전히 설명하지는 않는다고 보지만, 데이터 오염의 영향을 배제할 수 없다고 밝혔다. 벤치마크 스캐폴드와 25개 대상 중 22개 프로그램도 공개했다.