Cohere, 멀티모달 지원 및 128k 컨텍스트 갖춘 Embed 5 모델 공개

Cohere가 기업 데이터 검색 품질을 극대화한 최신 임베딩 모델 Embed 5를 공개했다. 시각적 문서, 재무 보고서, 파싱된 PDF, 코드, 다국어 검색 등 복잡한 데이터 처리에서 Embed 4 대비 성능이 크게 향상됐다.

모델 변형 및 아키텍처

용도에 따라 최적화된 두 가지 변형을 제공한다:

• embed-v5.0-pro: 오프라인 인덱싱과 품질이 중요한 검색에 최적화되어 최고 수준의 검색 정확도를 제공한다.
• embed-v5.0-fast: 대화형 검색, 에이전트 루프, 대량 쿼리 트래픽에 적합하도록 낮은 지연 시간과 높은 처리량을 지원한다.

Pro와 Fast는 공통 임베딩 공간을 공유하므로 한 모델로 인덱싱한 코퍼스를 다른 모델로 쿼리할 수 있다. Cohere는 Pro로 인덱싱하고 Fast로 쿼리하는 방식을 권장한다.

주요 기능

Embed 5는 다음과 같은 기술적 개선 사항을 도입했다:

• 멀티모달 입력: 텍스트, 이미지, 텍스트와 이미지가 혼합된 입력(예: PDF 페이지)을 단일 벡터로 지원한다.
• 다국어 지원: 100개 이상의 언어를 커버한다.
• 확장된 컨텍스트 길이: 128k 토큰 컨텍스트 윈도우를 제공한다.
• 유연한 저장 방식: [256, 512, 768, 1024, 1536, 2048] 차원의 Matryoshka 임베딩과 float, int8, binary 출력 타입을 지원한다.

가용성

Embed 5는 Embed API, Microsoft Foundry, Amazon SageMaker를 통해 이용 가능하다. 단일 테넌트 배포의 경우 Cohere의 Model Vault에서도 접근할 수 있다.