Mistral AI의 플랫폼 서비스, La Plateforme

Mistral AI가 개발자를 위해 강력한 오픈 생성 모델과 효율적인 배포 방식을 제공하는 La Plateforme의 베타 액세스를 공개했다. 이 플랫폼은 텍스트 생성을 위한 세 가지 채팅 엔드포인트와 임베딩 엔드포인트를 제공한다.

주요 엔드포인트 구성은 다음과 같다:

• mistral-tiny: Mistral 7B Instruct v0.2 기반의 가장 경제적인 모델로, 영어만 지원하며 MT-Bench에서 7.6점을 기록했다.
• mistral-small: Mixtral 8x7B 모델을 사용하여 영어, 프랑스어, 이탈리아어, 독일어, 스페인어 및 코드를 지원하며 MT-Bench 8.3점을 기록했다.
• mistral-medium: 현재 테스트 중인 고성능 프로토타입 모델로, 다국어 및 코드 지원과 함께 MT-Bench 8.6점의 높은 성능을 보여준다.

임베딩 서비스인 mistral-embed는 검색(Retrieval) 기능에 최적화된 1024 차원의 모델로, MTEB에서 55.26점을 기록했다.

API는 기존의 대중적인 채팅 인터페이스 규격을 따르며, Python 및 Javascript 클라이언트 라이브러리를 제공한다. 또한 시스템 프롬프트를 통해 모델 출력의 모더레이션을 설정할 수 있다. NVIDIA와의 협력을 통해 TensorRT-LLM 및 Triton 통합을 완료하여 Sparse Mixture of Experts(MoE) 호환성을 확보했다.