오픈 소스 AI 추론 컨트롤 플레인 Modelplane 출시

Kubernetes와 Crossplane을 기반으로 구축된 오픈 소스 프로젝트 Modelplane이 출시되었습니다. 이 도구는 클라우드, 네오클라우드(Neocloud), 온프레미스 환경에 걸쳐 분산된 GPU 클러스터를 하나의 **추론 플릿(Inference Fleet)**으로 통합 관리할 수 있는 컨트롤 플레인을 제공합니다.

Modelplane은 vLLM, SGLang, TensorRT-LLM과 같은 기존의 서빙 스택 위에서 동작하며, 단일 클러스터를 넘어선 상위 계층의 관리 기능을 수행합니다.

주요 기능:

• 모델 배치(Model Placement) 및 라우팅
• 오토스케일링(Autoscaling) 지원
• 가중치 캐싱(Weight Caching) 관리

이 프로젝트는 자체적으로 대규모 추론 인프라를 운영하려는 개발자와 기업에게 유용한 도구가 될 것으로 보입니다.