Stripe 벤치마크, 코딩 에이전트 엄격한 통과율 29.4% 기록

·2026.11.19 09:00

핵심 내용

Stripe 벤치마크에서 코딩 에이전트의 엄격한 통과율은 29.4%에 그쳤다.

자세히 보기

  • Stripe의 69개 실전 통합 시나리오 벤치마크에서 코딩 에이전트는 평균 기준 충족률 78.1%를 기록했으나 엄격한 통과율은 29.4%에 그침
  • 최종 필수(MUST) 기준에서 실패하는 거의 정확한 코드를 생성하는 경향 확인
  • Stripe 에이전트 플러그인은 14개 모델/하네스 조합의 점수를 평균 3~8%p 향상시킴
  • Gemini 3.8 Flash(+7.9%)와 Minimax M3.1 Flash(+7.4%)에서 가장 큰 개선 폭 기록
  • 플러그인 사용 시 웹 검색은 96% 감소(평가당 1.26회에서 0.05회로), 페이지 페치는 63% 감소
  • 구식 파라미터 참조 비율은 7%에서 1.3%로 하락
  • 비즈니스 모델별 성능 편차 존재, Payments나 Subscriptions에서 강했던 에이전트가 Connect에서는 반드시 우세하지 않음
  • Connect 영역에서 플러그인이 더 큰 개선 효과를 제공함

Methodology and Scope

  • 벤치마크는 14개 모델/하네스 조합(Claude Code, Codex, OpenCode 포함)에 대해 69개 시나리오(Connect 19개, Payments 24개, Subscriptions 26개)를 커버함
  • 보조 에이전트(GPT 6.1 Sol)가 잠재적 요구사항을 가진 개발자를 시뮬레이션하여 코딩 에이전트를 유도함
  • GPT 6.1 Sol이 RFC 2119 기반 평가 기준을 사용하여 심판 역할 수행
  • 각 케이스당 45분 타임아웃 적용, 에러는 점수에서 제외
  • 런타임 실행, 제품 추천 품질, 장기 유지보수는 측정 대상 아님

Availability

  • Stripe 벤치마크와 Forge 평가 하네스는 GitHub(stripe/forge)에서 오픈소스로 공개됨
  • 새 모델과 테스트 케이스에 따라 결과가 주기적으로 업데이트됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.