Mistral Small 3

Mistral AI가 저지연 성능에 최적화된 24B 파라미터 모델인 Mistral Small 3를 Apache 2.0 라이선스로 출시했다. 이 모델은 Llama 3.3 70B나 Qwen 32B와 같은 대형 모델과 경쟁할 수 있으며, GPT-4o-mini를 대체할 수 있는 강력한 오픈 소스 대안이다.

Mistral Small 3는 강력한 언어 이해 및 지시 이행 능력과 매우 낮은 지연 시간을 요구하는 생성형 AI 작업의 80%를 처리할 수 있도록 설계되었다. 특히 경쟁 모델보다 레이어 수를 줄여 forward pass 시간을 단축함으로써, 동일 하드웨어에서 Llama 3.3 70B instruct보다 3배 이상 빠른 속도를 제공한다.

주요 성능 지표는 다음과 같다:

• MMLU 정확도 81% 이상 달성
• 150 tokens/s 이상의 지연 시간 성능
• 로컬 배포에 최적화된 모델 크기

이번 모델은 **RL(강화 학습)**이나 **합성 데이터(synthetic data)**를 사용하지 않고 학습되었으므로, Deepseek R1과 같은 모델과는 성격이 다르다. 대신 추론 능력을 구축하기 위한 강력한 base model로 활용하기에 적합하다.