MiniCPM-V-4.7-35B-A3B-gguf: 35B MoE 멀티모달, llama.cpp로 로컬 구동

OpenBMB의 MiniCPM-V 4.7 모델이 GGUF 포맷으로 공개됐다. 텍스트와 이미지를 동시에 이해하는 멀티모달 LLM으로, Mixture of Experts 구조를 채택해 총 35B 파라미터 중 활성 파라미터는 3B 수준으로 유지된다. 이는 추론 시 메모리 부하를 줄여 로컬 환경에서의 실행 가능성을 높이는 설계다.

1 / 2

llama.cpp 생태계와의 호환성을 위해 다양한 양자화 버전이 제공된다. Q4_K_M부터 F16까지 폭넓은 비트 수의 파일이 포함되어 있어 사용자의 하드웨어 사양에 맞춰 선택할 수 있다. 또한 dspark 기반의 추측적 디코딩(speculative decoding) 지원으로 처리 속도를 개선한 버전도 함께 배포된다.

llama.cpp, Ollama, vLLM 등 주요 로컬 추론 프레임워크에서 바로 사용할 수 있다. OpenAI 호환 API 서버를 띄우거나 터미널에서 직접 대화형 추론을 수행하는 등 다양한 방식으로 통합이 가능하다. Apache 2.0 라이선스로 배포되어 상업적 프로젝트에도 자유롭게 적용할 수 있다.

클라우드 API 의존도를 낮추고 데이터 프라이버시를 유지하면서 고성능 멀티모달 추론이 필요한 개발자에게 적합하다. 특히 온디바이스나 엣지 컴퓨팅 환경에서 35B급 모델의 성능을 경험하고 싶을 때 유용한 선택지다.