PrismML, 27B 모델을 iPhone용으로 압축

Caltech 스핀오프 스타트업인 PrismML이 Alibaba의 오픈소스 모델인 Qwen-3.6-27B를 iPhone 17 Pro에서 실행할 수 있도록 압축하는 데 성공했다고 발표했습니다.

주요 기술적 특징은 다음과 같습니다:

• 모델 압축: 기존 약 54GB였던 모델 크기를 4GB 미만으로 획기적으로 줄였습니다.
• 성능 유지: 일반적인 압축 방식과 달리, 모델의 성능 저하를 최소화하면서도 복잡한 채팅, 추론, 자율 에이전트 및 소프트웨어 코딩 작업이 가능합니다.
• 온디바이스 AI 가속: PrismML은 수학적 기법을 통해 모델 크기를 줄였으며, 이는 향후 AI 연산의 상당 부분이 클라우드가 아닌 기기 내부(On-device)에서 처리될 것임을 시사합니다.

해당 오픈소스 모델은 다가오는 화요일에 다운로드 가능하도록 공개될 예정입니다.