나만의 모델을 만드는 재단사, Mistral

Mistral AI는 la Plateforme에 모델 커스터마이징 기능을 도입하여, 사용자가 성능, 속도, 편집 제어권을 확보할 수 있도록 지원한다. 이를 통해 특정 도메인에 맞춰 모델을 최적화함으로써 대규모 모델 수준의 성능을 구현하면서도 배포 비용과 속도를 개선할 수 있다.

모델 전문화를 위한 세 가지 접근 방식을 제공한다:

• mistral-finetune SDK: 자체 인프라에서 오픈소스 모델을 학습시키려는 개발자를 위한 가벼운 코드베이스로, 메모리 효율적인 LoRA 학습 방식을 사용한다.
• 서버리스 파인튜닝 서비스: 인프라 관리 부담 없이 la Plateforme에서 이용 가능한 관리형 서비스다. Mistral 7B 및 Mistral Small과 호환되며, LoRA 어댑터를 활용해 모델의 기존 지식을 보존하면서 효율적인 서빙을 가능하게 한다.
• 커스텀 트레이닝 서비스: 기업 고객을 위한 맞춤형 서비스로, 자체 데이터를 활용해 모델 가중치에 지식을 직접 포함하는 지속적 사전 학습(continuous pretraining) 등의 고급 기술을 제공한다.

한편, 새로운 파인튜닝 API를 실험할 수 있는 Mistral Fine-Tuning Hackathon이 2024년 6월 5일부터 30일까지 진행된다.