Edge0: RAM 2.5GB로 35B MoE 모델 구동

35B 규모의 MoE 모델을 약 2.5GB의 RAM에서 실행하는 오픈소스 추론 프레임워크다. SSD에서 전문가 가중치를 스트리밍하며, 학습된 라우터가 다음 단계의 로드 예측을 수행해 지연을 최소화한다. 파라미터 수가 아닌 활성 전문가 집합에 의해 피크 메모리가 결정되는 구조다.

Mac, iPhone, Android, Windows 네 플랫폼에서 동일한 레시피로 동작한다. Python 기반 MLX 백엔드와 각 플랫폼 네이티브 엔진이 제공되며, 4-bit 양자화와 Recover-LoRA를 통해 FP16 대비 평균 3.9점 수준의 성능 손실만 발생한다. MMLU-Pro 벤치마크에서는 오히려 베이스 모델을 상회하는 점수를 기록했다.

Edge0-35B-A3B와 Edge0-8B-A1B 두 가지 모델 티어가 함께 배포된다. 각 체크포인트에는 학습된 LoRA 어댑터와 프리라우터 헤드가 포함되어 있어, 별도 설정 없이 즉시 추론 파이프라인을 실행할 수 있다. Mac mini M4 Pro 기준 35B 모델의 디코드 속도는 14.9~17.7 tok/s, 피크 메모리는 2.9 GiB로 측정됐다.

소비자 하드웨어에서 대규모 희소 MoE 모델을 구동하려는 개발자에게 적합하다. Apache-2.0 라이선스로 공개되며, Hugging Face와 ModelScope에서 모델 파일을 내려받을 수 있다. 단일 디렉토리에 베이스 체크포인트와 어댑터가 함께 배치되어 있어 배포와 업데이트가 간편하다.