WikiBench를 활용한 OpenWiki 평가

LangChain은 오픈소스 코드 문서화 에이전트 OpenWiki의 품질을 정량적으로 측정하기 위해 WikiBench를 개발했다. 이 벤치마크는 생성된 위키가 실제 코딩 에이전트의 작업에 얼마나 도움이 되는지, 그리고 OpenWiki의 업데이트가 성능을 향상시키는지 두 가지 관점에서 평가한다.

WikiBench는 에이전트 평가 프레임워크인 Harbor 위에서 동작하며, 고정된 커밋의 저장소 환경을 제공한다. 평가의 핵심인 Verifier는 '리더 에이전트'를 활용해 위키를 참고해 저장소 관련 질문에 답하도록 한다. 질문은 코드베이스의 주제 영역을 분석해 자동으로 생성되며, '커버리지'와 '검색' 유형으로 나뉜다.

평가 점수는 LLM 판정부가 답변에 포함된 사실의 정확성과 근거를 검증하여 산출된다. 이를 통해 위키 버전 간 품질 차이를 비교할 뿐만 아니라, 원본 소스 코드만 제공했을 때와 위키를 제공했을 때의 성능 격차를 측정하여 위키의 실질적 가치를 입증할 수 있다.