Core ML 기반 Mistral 7B 실행

WWDC 24에서 공개된 Apple Intelligence와 Core ML의 최신 기능을 활용해, 7B 파라미터 규모의 Mistral 7B 모델을 Mac에서 온디바이스로 실행할 수 있다.

주요 기술적 특징은 다음과 같다:

• MLTensor 도입: 기존 MLMultiArray의 복잡한 조작 방식을 개선하기 위해 도입된 새로운 Swift 타입이다. Python의 numpy나 torch와 유사한 고수준 인터페이스를 제공하여 텐서 데이터 조작을 간소화한다.
• 메모리 효율성: 최적화된 모델 변환을 통해 7B 모델을 4GB 미만의 메모리만 사용하여 실행할 수 있다.

개발자는 Hugging Face에서 제공하는 변환된 Core ML 모델과 swift-transformers의 preview 브랜치를 사용하여 Swift 환경에서 직접 추론을 수행할 수 있다.