AI BriefingReplit, ViBench 2.0 공개: 최상위 모델도 장기 빌드 49~65%만 통과
·2026.10.29 03:50
핵심 내용
Replit ViBench 2.0에서 GPT-6.1 Sol이 65%로 1위를 차지했다
자세히 보기
- Replit이 빈 프로젝트에서 시작해 기능을 하나씩 추가하며 전체 제품을 구축하는 장기 소프트웨어 개발 벤치마크 ViBench 2.0을 출시함
- GPT-6.1 Sol이 pass@1 65%로 1위를 차지했으며, GPT-6 Astra(60%)와 Opus 5.5(49%)가 뒤를 이었으며, 세 모델 모두 개별 테스트 플랜의 90% 이상을 통과함
- 벤치마크에는 17개 제품, 241개 기능 요청, 544개 테스트 플랜이 포함되며, 이 중 8개 제품은 Harbor 형식으로 GitHub에 공개됨
- 주요 실패 요인은 테이블 생성 전에 코드가 테이블을 참조하는 스키마 오류, 기능 교차 지점에서의 충돌(예: 실행 취소 히스토리 충돌, 동시성 문제) 등임
- GPT-6.1 Sol은 빌드당 약 $12, GPT-6 Astra는 약 $90의 비용을 소모하며, DeepSeek V4.1 Flash는 $2.50으로 테스트 플랜의 77%를 통과하지만 전체 빌드에는 실패함
- Opus 5.5가 채점자로 사용되었으며, GPT-6.1 Sol의 재채점 결과 477개 통과 사례 중 99.2%가 확인되었고 Claude 모델에 대한 편향은 없었음
- GPT 세대별 점수가 향상되어 공개 제품 기준 GPT-5.4의 0%에서 GPT-6.1 Sol의 53%로 상승했으며, 플랜 통과율은 42%에서 95%로 증가함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
