MLX, Mac Studio 클러스터로 816B 파라미터 LLM 추론 지원

Apple의 MLX 프레임워크가 Mac Studio 클러스터에서 분산 LLM 추론을 지원해 프론티어급 모델을 로컬에서 실행할 수 있게 됐다. macOS 26.2의 새로운 Thunderbolt 5 RDMA 드라이버와 **MLX v0.30.1+**를 활용하면 단일 머신의 메모리 용량을 초과하는 모델을 여러 Mac Studio로 클러스터링해 구동할 수 있다.

하드웨어 및 소프트웨어 스택

성능 향상은 특정 하드웨어와 소프트웨어 업데이트에 기반한다:

• 하드웨어: M5 Ultra 칩을 탑재한 Mac Studio(최대 512GB 통합 메모리) 및 이전 세대 M3 Ultra.
• 소프트웨어: **MLX v0.30.1+**는 mlx.launch를 통해 RDMA를 사용하는 jaccl 통신 콜렉티브를 도입해 저지연 멀티 노드 연산을 지원한다.
• 최적화: MLX_METAL_FAST_SYNCH=1 환경 변수로 CPU-GPU 동기화 오버헤드를 줄인다.

성능 벤치마크

mlx_lm.benchmark를 사용해 세 가지 모델에서 벤치마크를 진행했다: Muse Spark Open(총 816B/활성 42B 파라미터, MoE), Mistral Medium 3.5(128B, Dense), Qwen 3.8(27B, Dense). M5 Ultra는 M3 Ultra 대비 상당한 개선점을 보였다:

• 첫 토큰 생성 시간(TTFT): GPU의 Neural Accelerators 덕분에 최대 4.6배 빨라짐.
• 디코딩 속도: 통합 메모리 대역폭 증가(1.2 TB/s vs 819 GB/s)로 1.6배 빨라짐.
• 전력 소비: 65,536 컨텍스트 길이에서 M5 Ultra는 약 300W, M3 Ultra는 200W.

분산 추론 전략

멀티 Mac 설정을 위해 두 가지 병렬화 전략을 평가했다:

1. 파이프라인 병렬화: 모델 깊이를 기준으로 분할한다. 구현이 간단하고 통신 오버헤드가 낮다. Muse Spark Open의 경우 2노드 파이프라인 설정에서 8,192 컨텍스트 기준 TTFT 8.4초를 달성했다.
2. 텐서 병렬화: 모델 너비를 기준으로 분할한다. 저지연 통신(jaccl)이 필요하지만 Dense 모델에서 더 나은 확장성을 제공한다. Muse Spark Open의 4노드 텐서 설정은 TTFT 4.8초와 디코딩 속도 36.73 tokens/s를 기록했다.

주요 결과 (8,192 컨텍스트)

• Muse Spark Open:
  • 4노드 텐서: TTFT 4.8초, 36.73 tokens/s.
  • 2노드 파이프라인: TTFT 8.4초, 15.74 tokens/s.
• Mistral Medium 3.5:
  • 4노드 텐서: TTFT 7.5초, 23.37 tokens/s.
  • 단일 M5 Ultra: TTFT 24.6초, 7.70 tokens/s.
• Qwen 3.8:
  • 4노드 텐서: TTFT 1.7초, 50.89 tokens/s.
  • 단일 M5 Ultra: TTFT 4.1초, 19.69 tokens/s.

로컬 에이전틱 AI

업데이트는 mlx_lm.server를 통한 로컬 에이전틱 워크플로우를 지원한다. mlx.launch --hostfile hostfile.json --backend jaccl 같은 명령으로 분산 서버를 실행해 8080 포트에서 Muse Spark Open 같은 모델을 서빙할 수 있으며, OpenCode 같은 도구와 호환된다.