AI BriefingDeepSeek V4.1 Flash, SWE-Pair 태스크 90% 해결
SWE-Pair: a coding-agent benchmark where every task is two real bugs to fix at once, with results from four models [P]
·2026.11.11 03:33
핵심 내용
DeepSeek V4.1 Flash가 SWE-Pair 벤치마크에서 90% 성공률을 기록하며 GPT-6 Luna를 추월했다
자세히 보기
- SWE-Pair는 69개 Python 프로젝트의 161개 태스크로 구성된 새로운 코딩 에이전트 벤치마크로, 두 개의 실제 버그를 동시에 수정해야 함
- DeepSeek V4.1 Flash는 중간(medium) effort 설정에서 태스크의 90%를 성공적으로 해결했으며, 해결된 태스크당 비용은 약 6센트였음
- GPT-6 Luna는 최대(max) effort 설정에서 태스크의 78%를 해결했으며, 해결된 태스크당 비용은 약 23센트였음
- DeepSeek의 경우 추론 effort를 높여도 성능이 개선되지 않았으며, max effort는 88%의 점수를 기록해 medium보다 약간 낮았고 비용은 1.7배 더 들었음
- 벤치마크 데이터셋은 Hugging Face에서 제공되며, 모든 에이전트 실행 결과는 프로젝트의 lab 사이트에서 공개됨
- 사용자는 단일 Harbor 명령어로 자체 에이전트를 벤치마크에서 실행할 수 있음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.