Mathstral

Mistral AI가 Project Numina와의 협업을 통해 수학 및 STEM 분야의 복잡한 다단계 논리 추론을 지원하는 Mathstral을 공개했다. Mistral 7B를 기반으로 구축된 이 모델은 해당 체급에서 최고 수준의 추론 능력을 보여준다.

주요 벤치마크 성능은 다음과 같다:

• MATH: 56.6%
• MMLU: 63.47%

특히 추론 시 계산량(inference-time computation)을 늘릴 경우 성능이 크게 향상된다. MATH 벤치마크 기준, 다수결 투표(majority voting)를 적용하면 68.37%, 64개의 후보 중 강력한 보상 모델(reward model)을 사용하면 **74.59%**까지 기록했다.

Mathstral은 지시 이행(instructed) 모델로 제공되며, 가중치는 HuggingFace에서 확인할 수 있다. 사용자는 mistral-inference를 통해 모델을 테스트하거나 mistral-finetune으로 미세 조정할 수 있다.