AI BriefingCWE-bench v2 공개, Gemini 4 Argon이 pass@1 67.8%로 선두
CWE-bench v2: More coverage, quality, and transparency
·2026.11.03 09:00
핵심 내용
CWE-bench v2에서 Gemini 4 Argon이 pass@1 67.8%로 1위를 기록했다.
자세히 보기
- Collinear AI가 실제 오픈소스 저장소에서 보안 취약점을 찾아 수정하는 에이전트 성능을 검증하는 공개 벤치마크 CWE-bench v2를 출시함
- Gemini 4 Argon이 pass@1 67.8%, pass@4 81.0%로 리더보드 1위를 차지하며, pass@1 67.3%인 Claude Opus 5.5를 근소하게 앞서고 있음
- 100개 과제 중 95개는 최소 하나의 모델로 해결 가능하지만, 최상위 모델도 모든 시도에서 전체 과제의 19%를 실패함
- DeepSeek V4.1 Flash가 pass@1 57.0%를 기록하며 롤아웃당 $0.04로 최저 비용을 제공하며, Gemini 4 Argon은 롤아웃당 $3.92의 비용이 발생함
- 벤치마크는 Harbor를 실행 환경으로 사용하여 Hugging Face Hub에서 직접 실행할 수 있으며, 결정론적이고 프로그램 기반의 검증기를 적용함
- 과제는 RL 환경으로 태그되어 있어 동일한 검증기를 활용해 방어적 에이전트 훈련에 활용할 수 있음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.