오픈 소스 AI 추론 컨트롤 플레인 Modelplane 출시
Modelplane - the open source control plane for AI inference
·2026.06.24 08:02
Kubernetes 기반의 Modelplane이 공개되어 멀티 클라우드 및 온프레미스 GPU 클러스터 관리를 지원한다.
Kubernetes와 Crossplane을 기반으로 구축된 오픈 소스 프로젝트 Modelplane이 출시되었습니다. 이 도구는 클라우드, 네오클라우드(Neocloud), 온프레미스 환경에 걸쳐 분산된 GPU 클러스터를 하나의 **추론 플릿(Inference Fleet)**으로 통합 관리할 수 있는 컨트롤 플레인을 제공합니다.
Modelplane은 vLLM, SGLang, TensorRT-LLM과 같은 기존의 서빙 스택 위에서 동작하며, 단일 클러스터를 넘어선 상위 계층의 관리 기능을 수행합니다.
주요 기능:
- 모델 배치(Model Placement) 및 라우팅
- 오토스케일링(Autoscaling) 지원
- 가중치 캐싱(Weight Caching) 관리
이 프로젝트는 자체적으로 대규모 추론 인프라를 운영하려는 개발자와 기업에게 유용한 도구가 될 것으로 보입니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.