Q2D-Web, 1억 9천만 문서 기반 대규모 웹 검색 리트리버 벤치마크 공개

Q2D-Web은 웹 검색용 리트리버 모델을 평가하기 위한 대규모 벤치마크와 리더보드로, 1억 9천만 개의 문서와 10개 언어의 69,721개 쿼리를 포함한다.

이 벤치마크는 편향을 최소화하고 신뢰성을 높이기 위해 세 개의 독립적인 관련성 판단(relevance judgments) 세트를 사용하며, 리트리버가 관련 데이터와 방해 요소를 구분하는 데 도움을 준다.

평가 제출물은 모델 순위의 무결성을 유지하면서 자원 비용을 줄이기 위해 서브샘플링(subsampling) 방식으로 처리된다.