AI Briefing
EN로그인

OpenBMB MiniCPM-V 4.7, iPhone 18 Pro Max에서 20.51 tok/s 기록

35B MoE running at 20.5 tok/s on an iPhone, without skipping experts

·2026.10.21 22:12

핵심 내용

LES 기술로 6.07배 가속을 달성한 MiniCPM-V 4.7이 iPhone 18 Pro Max에서 20.51 tok/s를 기록했다.

자세히 보기

  • OpenBMB의 MiniCPM-V 4.7이 iPhone 18 Pro Max에서 35B-A3B MoE 모델을 20.51 tok/s로 구동하며, 3.38 tok/s였던 베이스라인 대비 6.07배 성능 향상 달성함
  • Lookahead Expert Scheduling(LES) 기법을 활용해 다음 레이어의 전문가(expert) 필요량을 예측하고 현재 연산 중 플래시 스토리지에서 가중치를 선로딩하여 전문가 스킵이나 라우팅 변경 방지함
  • 최적화된 가중치 레이아웃과 혼합 정밀도 양자화를 적용해 전문가 가중치를 26.7% 절감하고, 5개 벤치마크에서 0.16포인트의 성능 저하만 발생함
  • LES와 DSpark 추측적 디코딩 통합 구현은 llama.cpp-omni에서 오픈소스로 공개되며, 저메모리 설정에서 약 3GB의 피크 메모리를 사용함
moellama.cppinference-optimizationopenbmbiphoneminicpm-v
원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.

관련 추천

RedditOpenBMB, MoE 비전 모델 MiniCPM-V 4.7 출시Redditllama.cpp LoRA 커널, Strix Halo에서 1100 t/s 성능 회복GeekNews크래프톤, 자체 개발 30B급 LLM 'Raon-1 mini' 프리뷰 오픈소스 공개PyTorchKR 읽을거리Helion vLLM 백엔드, H100 일부 워크로드서 10% 이상 처리량 향상Hacker NewsHybridAgents, 잠재적 추론과 텍스트 동적 전환으로 성능 10.4% 향상 및 비용 2.7~3.7배 절감PyTorchKR 읽을거리Pie, 사용자 코드로 KV 캐시·생성 루프 제어하는 LLM 서빙 공개