Stripe 벤치마크, 코딩 에이전트 엄격한 통과율 29.4% 기록
·2026.11.19 09:00
핵심 내용
Stripe 벤치마크에서 코딩 에이전트의 엄격한 통과율은 29.4%에 그쳤다.
자세히 보기
- Stripe의 69개 실전 통합 시나리오 벤치마크에서 코딩 에이전트는 평균 기준 충족률 78.1%를 기록했으나 엄격한 통과율은 29.4%에 그침
- 최종 필수(MUST) 기준에서 실패하는 거의 정확한 코드를 생성하는 경향 확인
- Stripe 에이전트 플러그인은 14개 모델/하네스 조합의 점수를 평균 3~8%p 향상시킴
- Gemini 3.8 Flash(+7.9%)와 Minimax M3.1 Flash(+7.4%)에서 가장 큰 개선 폭 기록
- 플러그인 사용 시 웹 검색은 96% 감소(평가당 1.26회에서 0.05회로), 페이지 페치는 63% 감소
- 구식 파라미터 참조 비율은 7%에서 1.3%로 하락
- 비즈니스 모델별 성능 편차 존재, Payments나 Subscriptions에서 강했던 에이전트가 Connect에서는 반드시 우세하지 않음
- Connect 영역에서 플러그인이 더 큰 개선 효과를 제공함
Methodology and Scope
- 벤치마크는 14개 모델/하네스 조합(Claude Code, Codex, OpenCode 포함)에 대해 69개 시나리오(Connect 19개, Payments 24개, Subscriptions 26개)를 커버함
- 보조 에이전트(GPT 6.1 Sol)가 잠재적 요구사항을 가진 개발자를 시뮬레이션하여 코딩 에이전트를 유도함
- GPT 6.1 Sol이 RFC 2119 기반 평가 기준을 사용하여 심판 역할 수행
- 각 케이스당 45분 타임아웃 적용, 에러는 점수에서 제외
- 런타임 실행, 제품 추천 품질, 장기 유지보수는 측정 대상 아님
Availability
- Stripe 벤치마크와 Forge 평가 하네스는 GitHub(stripe/forge)에서 오픈소스로 공개됨
- 새 모델과 테스트 케이스에 따라 결과가 주기적으로 업데이트됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.