Real-SWE 벤치마크 공개: 비공개 기업 코드베이스 기반 AI 코딩 에이전트 평가 결과 발표

Real-SWE 벤치마크는 독점 시스템 탐색, 비즈니스 영향(과금·세금 등), 기업별 코딩 규칙 준수를 평가하는 비공개 실무 기업 코드베이스 기반의 AI 코딩 에이전트 평가 도구다. 모델 단독 성능이 아닌 Claude Code, Codex CLI 등 특정 하네스 조합으로 pass@1 기준 8회 평균을 측정한다.

모델별 해결률 및 비용

실제 기업 프로덕션 코드를 기반으로 한 평가에서 Fable 5.1(Claude Code)이 **38.8%**의 해결률로 1위를 차지했다. 이어 GPT-6 Astra(Codex CLI) 33.8%, Gemini 3.8 Flash(Gemini CLI) 31.2%, GLM 5.3(Claude Code) 28.8% 순이다. 비용 측면에서는 해결률 상승이 비용 증가를 보장하지 않는 것으로 나타났으며, 추정 비용 범위는 $2.50~$6.96이다.

• Fable 5.1: 해결률 38.8%, 비용 $6.96
• GPT-6 Astra: 해결률 33.8%, 비용 $4.67
• Gemini 3.8 Flash: 해결률 31.2%, 비용 $2.50
• GLM 5.3: 해결률 28.8%, 비용 $5.12

태스크 복잡도 및 실패 유형

참고 솔루션 평균 11개 파일 수정으로 기존 벤치마크(FrontierCode, DeepSWE의 6개)보다 복잡도가 높다. 10개 태스크 중 'Analytics stream reducer' 태스크에서는 모든 모델이 0.0%의 해결률을 기록하며 실패했다. 또한 'Tax jurisdiction'(3.1%), 'Linearizable scan'(4.7%) 등 다수의 태스크에서 낮은 해결률을 보였다.

실패 유형 분석 결과, Unverified assumption(검증되지 않은 가정)이 주요 실패 요인으로 지목되었다. GPT-6 Astra의 경우 실패한 67회 중 29회(43.3%)가 검증되지 않은 가정에서 비롯되었으며, Gemini 3.8 Flash는 21회(31.3%), Fable 5.1은 6회(9.0%)로 나타났다.