Mistral AI, 새로운 에지 모델 'Ministral' 시리즈 공개

Mistral 7B 출시 1주년을 맞아, 온디바이스 컴퓨팅과 에지(edge) 환경을 위한 차세대 모델인 Ministral 3B와 Ministral 8B를 선보인다. 이 모델들은 10B 미만 파라미터 규모에서 지식, 상식, 추론, function-calling 및 효율성 측면에서 새로운 기준을 제시한다.

두 모델 모두 최대 128k의 컨텍스트 길이를 지원하며(vLLM에서는 현재 32k), 특히 Ministral 8B는 더 빠르고 메모리 효율적인 추론을 위해 특수한 interleaved sliding-window attention 패턴을 적용했다.

주요 활용 사례는 다음과 같다:

• 온디바이스 번역, 인터넷 연결 없는 스마트 어시스턴트, 로컬 분석 및 자율 로보틱스 등 프라이버시 중심의 로컬 추론.
• Mistral Large와 같은 대형 모델과 결합하여 에이전트 워크플로우 내에서 입력 파싱, 작업 라우팅, API 호출을 수행하는 효율적인 중개자 역할.

벤치마크 결과, Ministral 모델들은 Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B 등 동급 모델들과 비교했을 때 다양한 작업에서 우수한 성능을 입증했다.