MTEB: 텍스트 임베딩 성능 평가 벤치마크 공개

MTEB(Massive Text Embedding Benchmark)는 다양한 태스크에서 텍스트 임베딩 모델의 성능을 종합적으로 측정하기 위한 벤치마크 프레임워크입니다.

주요 특징은 다음과 같습니다:

• 방대한 규모(Massive): 8개 태스크에 걸쳐 56개의 데이터셋을 포함하며, 2,000개 이상의 모델 결과를 리더보드에 제공합니다.
• 다국어 지원(Multilingual): 최대 112개의 언어를 지원하여 다양한 언어 환경에서의 모델 성능을 평가할 수 있습니다.
• 확장성(Extensible): 새로운 태스크, 데이터셋, 메트릭을 추가하거나 사용자가 직접 모델을 제출하여 리더보드에 등록할 수 있습니다.

모델은 사용 목적에 따라 세 가지 범주로 분류됩니다:

• 최대 속도: 문맥 파악 능력은 낮지만 처리 속도가 매우 빠른 모델 (예: Glove)
• 속도와 성능의 균형: 효율성과 성능을 동시에 제공하는 모델 (예: all-mpnet-base-v2)
• 최대 성능: 수십억 개의 파라미터를 사용하여 높은 성능을 내는 모델 (예: ST5-XXL, GTR-XXL)

개발자는 MTEB 라이브러리를 통해 자신의 모델을 직접 벤치마킹하고 공개 리더보드에 결과를 반영할 수 있습니다.