더 저렴하고, 더 뛰어나고, 더 빠르고, 더 강력하게

Mistral AI의 최신 오픈 모델인 Mixtral 8x22B는 Sparse Mixture-of-Experts (SMoE) 구조를 채택했다. 전체 141B 파라미터 중 39B의 활성 파라미터만 사용하여 압도적인 비용 효율성을 제공한다.

주요 특징은 다음과 같다:

• 영어, 프랑스어, 이탈리아어, 독일어, 스페인어 지원
• 강력한 수학 및 코딩 능력
• 네이티브 function calling 지원
• 64K 토큰의 컨텍스트 윈도우 제공

이 모델은 Apache 2.0 라이선스로 배포되어 누구나 제한 없이 사용할 수 있다. 기존의 밀집형(dense) 70B 모델보다 빠르면서도, 다른 오픈 웨이트 모델들보다 뛰어난 성능을 보여준다.

벤치마크 결과, MMLU, HellaSwag, Arc Challenge 등 다양한 지표에서 우수한 성적을 거두었으며, 특히 다국어 능력 면에서 LLaMA 2 70B를 능가하는 성능을 입증했다.