vc-bench: AI 코딩 에이전트, 버전 관리 작업 100% 통과

vc-bench는 AI 코딩 에이전트의 복잡한 버전 관리 작업 수행 능력을 측정하는 신규 벤치마크임. 2026-07-20 배치 결과 이력은 전체 360건 중 359건 통과(359/360)를 기록했으나, 주요 비교 테이블에서는 각 도구-에이전트 조합이 60/60 전수 통과를 보임.
벤치마크는 표준 git, Jujutsu, GitButler 세 가지 버전 관리 도구를 비교함. 주요 비교에서 GitButler은 평균 34.0초, 명령어 4.5개로 git(92.2초, 20.4개)과 Jujutsu(110초, 21.0개)보다 훨씬 빠른 처리 속도와 적은 명령어 수를 기록함.
테스트 스위트에는 선택적 커밋, 멀티-어멘드, 커밋 분할, 커밋 재배열, 스쿼시 커밋, 더티 브랜치 업데이트 등 6가지 시나리오가 포함됨. 각 시나리오는 커밋 히스토리와 워킹 트리의 정밀한 조작을 요구함.
결정론적 그레이더는 명령어 시퀀스가 아닌 최종 Git 상태를 검증하여 서로 다른 유효한 접근 방식이 동일한 점수를 받도록 보장함. 벤치마크는 AI 에이전트를 고정하고 도구 간 비교를 수행하도록 설계됨.

핵심 내용