GPT-6 Astra, StarCraft 봇 코딩 벤치마크서 57% 승률… 인간 전문가엔 7%

벤치마크 개요 및 결과

StarSkirmish Bench v0.2는 LLM이 1시간의 제한 시간 내에 **C++**로 StarCraft: Brood War 봇을 얼마나 효과적으로 작성하는지 평가한다. 이 벤치마크는 연습 경기에서 학습한 내용을 반영하도록 요구하여 장기 추론과 에이전트 코딩 능력을 테스트한다. 각 모델은 해당 연구소의 1st party CLI harness(예: Claude Code, Codex, Antigravity CLI)에서 최고 수준의 추론 설정으로 실행된다.

GPT-6 Astra는 경쟁력 있는 인간 작성 봇과 데모 봇으로 구성된 로스터를 상대로 평균 **57%**의 승률을 기록하며 1위를 차지했다. GPT-6.1 Sol은 **46%**로 2위를 기록했으며, Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37–39% 범위에서 사실상 동률을 이뤘다. GPT-6.1 Sol은 GPT-6 Astra API 비용의 약 1/10 수준으로 2위를 기록해 가장 높은 가성비로 평가받았다.

인간 전문가 대비 성능

혼합 로스터를 상대로 높은 점수를 받았음에도 불구하고, 모든 LLM은 최상위 인간 작성 봇 대비 큰 격차를 보였다. Stardust, PurpleWave, BananaBrain을 상대로 최고 모델인 GPT-6 Astra는 단 **7%**의 경기만 승리했다. GPT-6.1 Sol은 4%, Gemini 4 Argon과 Claude Opus 5.5는 **2%**의 승률을 기록했다. 이는 LLM이 유능한 코드를 생성할 수 있지만, 복잡한 실시간 전략 환경에서 전문화된 인간 AI 에이전트의 전략적 깊이를 따라잡기에는 여전히 부족함을 시사한다.

모델 행동 및 변동성

• Gemini 4 Argon: one-shot 코딩을 선호하여 빌드와 코드 버전 수가 가장 적었다. 하지만 실행 간 변동성이 높았으며(최고와 최저 실행 간 18포인트 차이), 고위험 상대와 연습한 시간이 **41%**였음에도 고위험 상대를 상대로 **7%**만 승리했다.
• Muse Wonder Full: macro 전략과 업그레이드(경기당 2.5회)에 집중했으나, 거의 전적으로 쉬운 상대와만 연습했다(Tier B 이상 상대와 연습 비율 1%). 그 결과 낮은 점수인 **21%**를 기록했다.
• 연습 상관관계: 모델 점수의 가장 강력한 예측 변수는 로스터 내 7개 최강 봇과 연습한 시간이었다. GPT-6 Astra나 Gemini 4 Argon 같은 모델은 초기부터 강한 상대와 대결한 반면, 점수가 낮은 모델들은 이를 회피했다.

구현 및 점수 산정 변경

v0.2에서는 모델 세대 간 직접 비교와 병렬 평가를 가능하게 하기 위해 Elo rating을 plain win rates(0–100)로 대체했다. 설정은 BWAPI 4.4.0과 OpenBW를 사용하여 Heartbreak Ridge, Benzene, Destination 세 가지 맵에서 Protoss vs. Protoss 경기를 진행하는 방식이다. 컨텍스트는 약 250k tokens에서 압축되며, 웹 접근은 비활성화된다. StarSkirmish 점수는 Artificial Analysis Intelligence Index 같은 일반 지능 지수와는 낮은 상관관계(ρ 0.26)를 보이지만, Vals IOI(ρ 0.95)나 WeirdML v3(ρ 1.00) 같은 전문 코딩 벤치마크와는 높은 상관관계를 보인다.