Cohere, Embed 5 공개… Pro와 Fast가 임베딩 공간 공유해 비용 절감

Cohere가 Embed 5 임베딩 모델 시리즈를 공개했습니다. 이 시리즈는 Pro와 Fast 두 가지 티어로 구성되며, 핵심은 공유 임베딩 공간입니다. 이를 통해 사용자는 고품질의 Pro 모델로 문서를 인덱싱하고, 저지연의 Fast 모델로 쿼리를 수행할 수 있어 재인덱싱 없이 하이브리드 검색이 가능합니다. 이 방식으로 쿼리 연산 비용을 최대 3분의 1까지 줄이면서 검색 품질은 기준선 수준을 유지합니다.

성능 및 벤치마크

Embed 5 Pro는 기업용 문서 검색 성능에서 큰 폭의 개선을 보였습니다. 시각적으로 복잡한 문서를 대상으로 한 ViDoRe V3 벤치마크에서 Pro는 평균 85.8점을 기록해 Embed 4보다 8.8점 상승했습니다. 이는 Voyage 4 Large(83.7), Gemini Embedding 2(83.2), OpenAI text-embedding-3-large(75.5) 등 경쟁 모델을 능가하는 수치입니다. 금융 분야에서는 FinanceBench(80.1)와 FinQA(90.0)에서 선두를 차지했으며, Cohere 외 최고 모델보다 평균 3.3점 높습니다.

Fast 티어는 지연 시간에 민감한 워크로드에 최적화되어 Pro보다 처리량이 2.4배 높습니다. ViDoRe V3 점수는 84.5로, Jina v5 Small(74.5)이나 Qwen3-VL-Embedding-2B(64.2) 같은 소형 경쟁 모델들을 큰 격차로 따돌립니다.

다국어 및 멀티모달 기능

Embed 5는 100개 이상 언어를 지원하며 128K 토큰 컨텍스트 윈도우를 제공합니다. 유럽 언어에서 Pro는 평균 77점을 기록했으며, Embed 4 대비 페르시아어(+13), 텔루구어(+12), 힌디어(+12)에서 두드러진 향상을 보였습니다. 멀티모작 작업에서 Pro는 텍스트와 이미지를 결합한 입력으로 5개 데이터셋 평균 82.3점을 기록해 Fast(81.2)와 Gemini Embedding 2(61.3)를 크게 앞섭니다.

배포 및 최적화

모델은 Cohere API, Model Vault, Microsoft Foundry, Amazon SageMaker에서 이용 가능합니다. Cohere는 쿼리별 관련성 기준을 반영해 전체 코퍼스 성능을 더 잘 나타내는 새로운 평가 지표 RCP-nDCG@10을 도입했습니다. 저장 공간 최적화를 위해 Matryoshka 임베딩과 양자화 형식(float, int8, binary)을 지원합니다. 256차원 바이너리 벡터를 사용하면 2,048차원 float32 벡터 대비 저장 요구 사항을 최대 256배까지 줄일 수 있습니다. 이를 통해 1억 개 청크의 원시 벡터 저장 용량은 약 819 GB에서 약 3.2 GB로 감소합니다.