OpenBMB, MoE 비전 모델 MiniCPM-V 4.7 출시

OpenBMB가 MiniCPM-V 4.7을 공개하며 시리즈 최초의 Mixture-of-Experts(MoE) 모델인 35B-A3B 버전을 출시했다. 이번 릴리스는 강력한 시각 이해 능력과 효율적인 온디바이스 추론을 결합해 모바일 및 로컬 컴퓨팅 환경을 겨냥했다.

온디바이스 성능 및 효율성

35B-A3B 모델은 성능 저하 없이 온디바이스에서 원활하게 실행되도록 설계되었으며, iPhone 17 Pro Max에서 13+ tokens/s의 디코딩 속도를 달성했다. 이러한 효율성은 새로운 Lookahead Expert Scheduling(LES) 기술과 세밀한 계층별 양자화, DSpark 추측 샘플링 통합을 통해 구현된다. Instruct 모드에서는 Qwen3.6 35B-A3B보다 더 짧은 추론 시간으로 더 높은 종합 점수를 기록하며 멀티모달 LLM의 성능-효율성 파레토 프런티어를 확장했다.

아키텍처 및 시각 처리

MiniCPM-V 4.7은 LLaVA-UHD v4의 intra-ViT early compression 기술을 기반으로 하며, 비전 인코더 내에서 시각 토큰을 조기에 압축해 후속 계층의 연산량을 줄인다. 모델은 mixed 4x/16x visual token compression을 지원해 개발자가 시각 디테일과 추론 비용 간 균형을 맞출 수 있다. 단일 이미지, 다중 이미지, 비디오 이해 기능은 기존 시리즈의 역량을 유지한다.

플랫폼 지원 및 개발자 도구

이 모델은 iOS, Android, HarmonyOS를 포함해 광범위한 플랫폼을 지원하며, Rockchip, Houmo, Intel, AMD, Arm 칩 플랫폼에 대해 day-0 지원을 제공한다. 개발자를 위해 SGLang, vLLM, llama.cpp, Ollama 등 추론 프레임워크와 SWIFT, LLaMA-Factory 등 파인튜닝 프레임워크를 지원한다. 양자화 변형은 GGUF, BNB, AWQ, GPTQ 형식으로 제공되며, FP8 양자화 지원이 추가됐다. 또한 OpenBMB는 기존 기술의 망각을 최소화하면서 낮은 비용으로 모델 역량을 확장하는 Self-Replay Fine-Tuning 기법을 공개했다.