Cohere, 인간 판단 정합성 높인 검색 평가 지표 RCP-nDCG@10 공개

기존 nDCG 지표는 사전 정의된 관련성 레이블(qrels)에 의존해 최신 모델이 찾아낸 관련 문서를 놓치는 경우가 많았다. Cohere가 발표한 RCP-nDCG@10은 명시적 기준에 따라 AI 판정사가 모든 검색 결과를 평가하는 방식으로, 벤치마크 풀에 없어도 관련성 있는 결과에 점수를 부여한다. 46명이 참여한 인간 평가 연구에서 두 지표가 불일치할 때 70%의 경우 인간 평가자가 RCP-nDCG를 지지하며 인간 판단과의 정합성이 더 높음을 입증했다. Cohere는 이 새로운 표준으로 차세대 Embed 및 Rerank 모델을 최적화해 기업용 검색 품질을 개선할 계획이다.