Apple Core AI 프레임워크

Apple은 CPU, GPU, Neural Engine을 활용하여 앱 내에서 AI 모델을 실행, 최적화 및 배포할 수 있는 Core AI 프레임워크를 선보였습니다. 이 프레임워크는 단순한 실행 API를 넘어 PyTorch 모델을 .aimodel 형식으로 변환하고, 압축 및 디버깅까지 지원하는 통합 도구 체인을 제공합니다.

주요 특징 및 워크플로:

• PyTorch 통합: torch.export와 TorchConverter를 통해 PyTorch 모델을 Apple silicon에 최적화된 형태로 변환할 수 있습니다.
• 성능 최적화: Transformer 모델의 추론 속도 저하를 방지하기 위해 State(상태) 및 Cache(캐시) 관리 기능을 제공하여, 이전 단계의 Key/Value를 재사용함으로써 일정한 추론 속도를 유지합니다.
• 모델 배포 및 Specialization: 모델 로드 시 기기 아키텍처에 맞춘 Specialization 과정을 거치며, coreai-build를 통해 개발 단계에서 미리 컴파일하여 사용자 대기 시간을 줄일 수 있습니다.
• 양자화 및 디버깅: INT4, INT8, FP4, FP8 등 다양한 **양자화(Quantization)**를 지원하며, Core AI Debugger를 통해 변환된 모델과 원본 PyTorch 모델 간의 중간 텐서 값을 비교하고 오류를 추적할 수 있습니다.

이 프레임워크는 iOS, iPadOS, macOS 등 Apple의 모든 주요 OS에서 지원되며, 사용자 데이터를 기기 외부로 보내지 않는 온디바이스 AI 구현에 최적화되어 있습니다.