Apple, MLX LM Server 공개

Apple의 MLX LM Server는 Apple Silicon 하드웨어에 최적화된 새로운 모델 서빙 도구입니다.

주요 기술적 특징은 다음과 같습니다:

• 성능 최적화: M-시리즈 칩의 Neural Engine을 활용하여 프롬프트 처리 속도를 대폭 향상시켰습니다.
• 병렬 처리: Continuous Batching 기술을 적용하여 여러 에이전트의 요청을 중단 없이 동시에 처리할 수 있습니다.
• 확장성: Thunderbolt RDMA를 통한 분산 추론을 지원하여, 단일 기기의 메모리를 초과하는 대규모 모델도 여러 Mac에 걸쳐 구동할 수 있습니다.

개발자는 pip를 통해 간편하게 설치할 수 있으며, 로컬 서버 주소를 에이전트 도구에 연결하여 즉시 사용할 수 있습니다.