DoGBench, AI 에이전트 문서화 능력 평가... 최고 점수 47.3점에 그쳐

벤치마크 구조 및 결과

DoGBench는 실제 리포지토리 이벤트에 대응해 AI 에이전트가 사용자 대상 소프트웨어 문서를 작성하고 유지보수하는 능력을 평가하는 최초의 벤치마크다. 프로젝트 유지보수자가 검증한 기준을 통해 문서 업데이트 필요성을 인식하고 전문가 검토 수준에 부합하는 변경 사항을 생성할 수 있는지 평가한다.

데이터셋은 Helm, PostHog, Mautic, Doc Detective 등 실제 오픈소스 프로젝트에서 추출한 292개 작업으로 구성된다. 이 중 205개는 문서 변경이 필요하고, 87개는 문서 변경이 불필요하다. 주요 평가는 무작위 계층화된 117개 항목의 홀드아웃 분할(업데이트 필요 82개, 변경 불필요 35개)을 사용한다.

7개 모델 및 하네스 레인 평가의 주요 성능 지표:

• 최고 종합 점수: 100점 만점에 47.3점으로, Qwen3.8 Max가 OpenCode와 함께 달성했다.
• 최고 P0 클린 전달률: **39.0%**로, GPT-5.6 Sol이 Codex와 함께 달성했다(업데이트 작업 82개 중 32개에서 치명적 오류 없는 패치 전달).
• 클라우드 에이전트: 3개의 클라우드 에이전트 시스템도 동일한 분할에서 평가되었으며, 모든 시스템 중 최고 종합 점수는 54.8로 보고되었다.

공통 실패 모드

에이전트는 업데이트 결정과 업데이트 품질 모두에서 어려움을 겪는다. 1,267개 제출물에 대한 광범위한 감사 결과:

• **45.5%**는 작업 완료 격차(전제 조건, 단계 또는 검증 누락)가 있었다.
• **36.6%**는 기술적 부정확성을 포함했다.
• **32.5%**는 핵심 개념 또는 참조 정보의 일부를 생략했다.
• **6.1%**는 조작된 콘텐츠(발명된 클래스, 플래그 또는 엔드포인트)를 포함했다.

에이전트는 사용자 지침이 필요 없는 내부 리팩토링을 문서화하거나, 기존 페이지를 찾지 못해 필요한 업데이트를 놓치는 경우가 많다. 이는 커버리지 부재 자체가 해결해야 할 문제임을 인식하지 못하기 때문이다.

평가 방법론

DoGBench는 전달된 패치 품질과 기권 재현율의 조화 평균을 기반으로 한 종합 점수를 사용하여 업데이트 결정과 패치 품질을 별도로 보고한다. 치명적 실패(P0 기준)는 패치 점수를 100점 만점에 60점으로 제한하여, 2차 기준에서의 강점이 주요 결함을 평균으로 상쇄하지 못하도록 한다. 벤치마크는 에이전트가 사용자 워크플로와 프로젝트별 뉘앙스에 대한 맥락적 이해가 부족하므로 전문가 검토가 여전히 필요함을 강조한다.