Codestral Mamba

Mistral AI가 새로운 아키텍처 연구의 일환으로 Codestral Mamba를 공개했다. 이 모델은 Albert Gu와 Tri Dao의 도움을 받아 설계되었으며, 자유로운 사용, 수정 및 배포가 가능하다.

기존 Transformer 모델과 달리, Mamba 모델은 **선형 시간 추론(linear time inference)**의 장점을 제공하며 이론적으로 무한한 길이의 시퀀스를 모델링할 수 있다. 이러한 효율성은 코드 생산성 작업에 매우 유리하며, 최신 SOTA Transformer 기반 모델들과 대등한 성능을 보여준다.

주요 특징 및 사양은 다음과 같다:

• 최대 256k 토큰까지의 인컨텍스트 검색(in-context retrieval) 성능 지원
• 약 **72.8억 개(7.28B)**의 파라미터를 가진 Instructed model
• Apache 2.0 라이선스로 제공되어 자유로운 활용 가능

사용자는 mistral-inference SDK, TensorRT-LLM, HuggingFace를 통해 모델을 배포할 수 있으며, Mistral의 la Plateforme에서도 바로 테스트해 볼 수 있다.