AI BriefingBigMoeOnEdge, 16GB 노트북에서 125B MoE 모델 실행
Run MoE models (Qwen 4 from day one) bigger than your RAM on phone, laptop or GPU: it places every weight on VRAM, RAM or flash by itself for max prefill and decode speed
·2026.11.08 18:19
핵심 내용
BigMoeOnEdge가 16GB 노트북에서 125B MoE 모델을 플래시 저장소에 배치해 실행한다
자세히 보기
- llama.cpp 기반의 신규 도구 BigMoeOnEdge는 장치 총 메모리보다 큰 Mixture of Experts(MoE) 모델을 실행하며, 가중치를 VRAM, RAM, 플래시 스토리지에 자동 배치함
- --auto 플래너를 활용해 하드웨어 성능(RAM, VRAM, 디스크 속도)과 모델 라우팅을 측정하고, 자주 사용되는 전문가(expert)는 빠른 메모리에, 드물게 사용되는 전문가(expert)는 플래시에 할당하여 출력 품질 변화 없이 속도를 최적화함
- 벤치마크 결과 16GB Apple 실리콘 노트북에서 Qwen3.6-35B-A3B(22GB 모델)를 18-24 tok/s 디코딩 속도로 실행하고, 24GB GPU와 96GB RAM을 갖춘 데스크톱에서는 Qwen3.8-Flash-Next 125B 모델로 70 tok/s를 달성함
- CPU, CUDA, ROCm, Vulkan, Metal, OpenCL, Hexagon NPU 백엔드를 지원하며, Android, iOS, macOS, Windows, Linux를 대상으로 에이전트 통합을 위한 OpenAI 및 Anthropic 호환 서버를 포함함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
관련 추천
gpu-unlock 모듈, Nvidia 3000 시리즈 GPU의 FP/BF16 명령어 처리 속도 2배로 향상