추천한국어 임베딩 모델 오픈소스 리더보드 공개

RAG(Retrieval-Augmented Generation) 시스템 구축 시 핵심이 되는 한국어 임베딩 모델을 공정하게 비교하기 위한 ko-embedding-leaderboard 프로젝트가 공개되었습니다.

이 프로젝트는 MTEB(Massive Text Embedding Benchmark)를 한국어 환경에 맞춰 커스텀하였으며, 다음과 같은 특징을 가집니다.

• 평가 방식: 7종의 한국어 검색 데이터셋(Ko-StrategyQA, LawIRKo 등)을 활용하여 NDCG@5와 NDCG@10의 평균으로 순위를 산출합니다.
• 분류 제공: 모델의 특성에 따라 Dense 임베딩과 Sparse 임베딩을 나누어 순위를 제공합니다.
• 주요 결과 (Dense): 현재 perplexity-ai/pplx-embed-v1-4b가 1위를 기록 중이며, 한국어 특화 모델과 다국어 범용 모델이 상위권에 고루 포진해 있습니다.
• 주요 결과 (Sparse): telepix/PIXIE-Splade-v1.5가 상위권을 차지하고 있습니다.

해당 리더보드는 새로운 모델이 추가됨에 따라 지속적으로 업데이트되는 오픈소스 프로젝트입니다.