SWE-rebench 다국어 벤치마크 업데이트
SWE-rebench Multilingual Update (Go, Java, Python, Rust, TS). Evaluated: GLM-5.2, DeepSeek-V4 Pro, Qwen3.6-27B and others
·2026.07.29 01:37
SWE-rebench가 Python을 넘어 Go, Java, Rust 등 5개 언어를 포함한 다국어 소프트웨어 엔지니어링 벤치마크 업데이트를 발표했다.
SWE-rebench가 실제 소프트웨어 엔지니어링 태스크를 기반으로 한 다국어(Multilingual) 슬라이스를 추가하며 리더보드를 업데이트했다. 기존 Python 중심에서 벗어나 Go, Java, Python, Rust, TypeScript 등 5개 언어를 새롭게 포함한다.
주요 모델별 Pass@1 성능 결과는 다음과 같다:
- GLM-5.2: 62.9%
- MiniMax M3: 47.2%
- MiMo V2.5 Pro: 46.5%
- DeepSeek-V4 Pro: 40.2%
- Qwen3.6-27B: 31.2%
이번 업데이트는 오픈 웨이트(Open-weight) 모델들의 코딩 능력을 다각도로 검증하는 데 중점을 두었으며, 향후 3~4주 내에 로컬 배포에 적합한 모델들을 대상으로 한 추가 업데이트가 예정되어 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.