HuggingFace, 검색 벤치마크 RTEB 공개

RAG, AI 에이전트, 추천 시스템의 성능을 결정짓는 핵심 요소인 검색(Retrieval) 품질을 정확히 측정하기 위한 새로운 표준, **RTEB(Retrieval Embedding Benchmark)**가 공개되었다.

기존 벤치마크는 모델이 공개된 평가 데이터를 암기하여 점수가 실제보다 높게 나오는 일반화 격차(Generalization Gap) 문제를 겪어왔다. RTEB는 이를 해결하기 위해 다음과 같은 하이브리드 전략을 사용한다.

• Open Datasets: 투명성과 재현성을 위해 데이터셋을 완전히 공개한다.
• Private Datasets: 모델의 진정한 일반화 능력을 검증하기 위해 비공개 데이터셋을 활용하며, MTEB 관리자가 직접 평가를 수행하여 편향을 방지한다.

RTEB는 기업용 실무 환경의 복잡성을 반영하도록 설계되었다. 개발자는 공개 데이터와 비공개 데이터 간의 성능 차이를 비교함으로써, 모델이 새로운 데이터에 대해 얼마나 견고한지 또는 특정 데이터에 **과적합(Overfitting)**되었는지를 명확히 파악할 수 있다.