zml/llmd v20261106.0, 142MB Metal과 1.96GB CUDA 이미지 제공

zml/llmd: a fast and universal inference server

·2026.11.07 07:10

핵심 내용

zml/llmd v20261106.0이 142MB Metal과 1.96GB CUDA 추론 이미지를 제공했다

zml/llmd가 NVIDIA, AMD, Intel, TPU, Metal 플랫폼을 지원하는 범용 추론 엔진 llmd-20261106.0 버전을 출시함
Docker 이미지 크기가 대안 대비 현저히 작아 Metal은 142 MB, TPU는 272 MB, CUDA는 1.96 GB 수준임
서버에 연속 배치(continuous batching), 프리픽스 캐싱(prefix-caching), 추측적 디코딩(speculative decoding: DFlash, DFlash2, DSpark) 기능이 적용되며 자동 텐서 및 전문가 병렬 샤딩을 지원함
Qwen 2, 3, 3.5, 3.6, 3.8 시리즈, Gemma 3과 4, LFM2.5, Mistral 3, Ministral, Mistral Large 4, LLaMa 2와 3, DeepSeek 4.1 Flash, GLM 5.2와 5.3 모델이 지원됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.