AI Briefingmlx-decision, Apple Silicon에서 오픈 의사결정 모델 로컬 실행
Open-source tool to run and fine-tune the new decision models (Clef, pplx-decider, d3, H2O, ...) locally on Apple Silicon with MLX
·2026.10.25 01:29
핵심 내용
mlx-decision이 Apple Silicon에서 로컬 추론과 파인튜닝을 지원한다
자세히 보기
- mlx-decision는 Apple Silicon에서 MLX를 활용해 오픈 소스 의사결정 모델을 로컬에서 실행하는 무료 MIT 라이선스 Python 패키지이며, Cloudflare의 Clef, Perplexity의 pplx-decider, d3, H2O-Lightning, LiquidAI의 d1을 지원함
- MPS 환경에서 PyTorch 대비 1.4~6배의 속도 향상을 제공하며, M5 Pro 기반 소형 인코더에서는 20ms 미만의 지연 시간을 기록하고 d1-3B의 짧은 요청 처리에 0.06초 소요됨
- 데이터셋으로 d1-3B를 파인튜닝하면 4분 만에 TREC 정확도가 86.6%에서 96.4%로 향상되며, pplx-decider-flash(4B)는 16GB MacBook Air에서 9GB의 메모리를 차지함
- 로컬 웹 Studio, Python, CLI, HTTP 서버, MCP를 통해 도구를 접근할 수 있으며, 모델 및 데이터셋 다운로드를 제외한 모든 처리 과정이 로컬에서 수행됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
