GitHub, AI 코드 리뷰 에이전트 평가용 오픈 벤치마크 ReviewBench 공개

GitHub가 AI 코드 리뷰 에이전트를 평가하기 위한 오픈 오프라인 벤치마크 ReviewBench를 공개했습니다. 이 도구는 실제 풀 리퀘스트 분포를 반영한 표준화된 평가 프레임워크를 제공해 리뷰어 품질 측정의 어려움을 해결합니다. 팀은 즉시 자신의 에이전트를 평가하고 다른 에이전트와 성능을 비교할 수 있습니다.

벤치마크 구축 및 범위

ReviewBench는 1억 390만 건의 실제 GitHub 풀 리퀘스트를 분석해 언어, 저장소 크기, 변경 형태를 기반으로 구축되었습니다. 최종 벤치마크 코퍼스는 19개 언어로 작성된 187개 오픈소스 저장소의 219개 공개 풀 리퀘스트로 구성됩니다. 언어와 저장소 크기 분포는 GitHub 전체와 유사하지만, 풀 리퀘스트 크기 분포는 단일 파일 수정이 과대표되지 않도록 실질적인 다중 파일 변경에 가중치를 두었습니다.

벤치마크는 인간 리뷰어, 작성자의 후속 커밋, 정적 분석 도구, 여러 프론티어 LLM에서 파생된 다중 출처 골든 세트를 사용합니다. 이러한 발견 사항들은 의미적으로 중복 제거되고 공유된 기준에 따라 검증됩니다. 시니어 엔지니어들이 출시 전 ground-truth 발견 사항을 독립적으로 재라벨링하여 벤치마크 라벨과 **96.6%**의 일치율을 달성했습니다.

평가 지표 및 유연성

ReviewBench는 알려진 문제와 새로 발견된 문제를 모두 포착하기 위해 두 가지 계열로 나뉜 6개 지표를 보고합니다:

• Grounded 지표 (정밀도, 재현율, F1): 에이전트 발견 사항을 기존 골든 세트와 엄격하게 비교합니다.
• Augmented 지표 (정밀도, 재현율, F1): 판정자가 골든 세트에 없는 발견 사항을 검증할 수 있도록 허용하여, 원 제작자가 놓친 유효한 문제에 대해 점수를 부여합니다.

벤치마크는 심각도(Critical, Medium, Low) 및 카테고리(Correctness, Security, Reliability 등)별로 결과를 세분화할 수 있는 구성 가능한 평가를 지원합니다. 사용자는 Fβ 점수를 조정하여 정밀도(노이즈 감소) 또는 재현율(광범위한 커버리지) 중 우선순위를 정할 수 있으며, 리더보드는 이에 따라 순위가 재조정됩니다.

Copilot 코드 리뷰에 미친 영향

GitHub는 **Copilot 코드 리뷰(CCR)**의 반복적인 이터레이션을 평가하기 위해 ReviewBench를 사용했습니다. 이 벤치마크는 프로덕션 A/B 테스트의 방향을 신뢰성 있게 예측하는 오프라인 신호를 제공했습니다. 최근 멀티 모델 앙상블 리뷰를 포함한 라이트 티어 실험에서 ReviewBench는 정밀도, 재현율, 댓글 볼륨의 개선과 비용 절감을 예측했습니다.

이후 온라인 A/B 테스트에서 이러한 예측이 확인되었습니다:

• Addressed rate(온라인 정밀도 대리 지표)가 8.0% 상승했습니다.
• Recall이 13.6% 상승했습니다.
• Comment volume이 61% 상승했습니다.
• Cost per review가 8.0% 감소했습니다.

ReviewBench는 또한 **227%**의 critical comments 증가를 정확히 예측했으며, 이는 온라인에서 관찰된 262% 증가와 밀접하게 일치했습니다. 이는 프로덕션 실험을 진행하기 전에 빠르고 반복 가능한 신호를 제공하는 벤치마크의 유용성을 입증합니다.