Mistral NeMo

Mistral이 NVIDIA와 협업하여 개발한 Mistral NeMo는 12B 규모의 모델로, 최대 128k 토큰의 컨텍스트 창을 제공한다. 추론, 상식, 코딩 정확도 면에서 해당 체급 내 최고 수준의 성능을 보이며, Mistral 7B를 사용하는 시스템에 즉시 교체하여 사용할 수 있는 높은 호환성을 갖췄다.

연구자와 기업의 도입을 돕기 위해 Apache 2.0 라이선스로 사전 학습된 베이스 모델과 인스트럭션 튜닝 모델을 모두 공개했다. 또한 양자화 인지 학습을 통해 성능 저하 없이 FP8 추론이 가능하다.

새로운 토크나이저인 Tekken을 도입하여 텍스트 및 소스 코드 압축 효율을 극대화했다.

• 한국어: 기존 대비 2배 더 효율적인 압축
• 아랍어: 기존 대비 3배 더 효율적인 압축
• 기타: 소스 코드, 중국어, 유럽 언어 등에서 약 30% 향상된 효율성

다국어 지원이 강력하여 영어, 프랑스어, 중국어, 일본어, 한국어 등 다양한 언어에서 뛰어난 성능을 보인다. 고도화된 인스트럭션 미세 조정을 통해 명령 이행, 추론, 멀티턴 대화 및 코드 생성 능력이 Mistral 7B 대비 크게 향상되었다.