dots.ocr, Apple 기기용 Core ML 최적화

RedNote의 dots.ocr(3B 파라미터)은 OmniDocBench에서 Gemini 2.5 Pro를 능가하는 성능을 기록한 OCR 모델이다. 이 모델을 Apple의 Neural Engine에서 구동함으로써 CPU 대비 12배, GPU 대비 4배 높은 전력 효율을 달성할 수 있다.

본 가이드는 PyTorch 모델을 Core ML과 MLX를 조합하여 온디바이스(on-device) 환경에 최적화하는 기술적 과정을 다룬다.

주요 모델 구조 및 변환 전략:

• 모델 구성: NaViT 기반의 1.2B 비전 인코더와 Qwen2.5-1.5B 백본으로 이루어져 있다.
• 변환 프로세스: torch.jit.trace 또는 torch.export로 실행 그래프를 캡처한 후, coremltools를 통해 .mlpackage로 컴파일한다.
• 하이브리드 실행: 비전 인코더는 Core ML을 통해 Neural Engine을 활용하고, LM 백본은 MLX를 통해 GPU를 활용하도록 최적화한다.