Kubernetes와 ML 추론의 새로운 장

AI 도입이 가속화되면서 Kubernetes는 단순한 컨테이너 오케스트레이션을 넘어, GPU를 포함한 다양한 AI 가속기를 효율적으로 관리해야 하는 과제에 직면했다. 기존의 설계 방식은 복잡한 하드웨어 토폴로지 요구사항과 파편화된 컨테이너 런타임 지원 문제로 인해, ML 추론 워크로드를 대규모로 운영하는 데 한계가 있었다.

이러한 문제를 해결하기 위해 **DRA(Dynamic Resource Allocation)**와 **CDI(Container Device Interface)**가 핵심 혁신으로 등장했다. 특히 DRA는 Kubernetes 스케줄러가 전문화된 플러그인에 자원 할당을 위임할 수 있게 하여, 하드웨어의 특성을 깊이 있게 이해하고 최적의 위치에 워크로드를 배치할 수 있도록 돕는다.

FuriosaAI는 이러한 기술적 진보를 활용해 자사의 고성능 추론용 칩인 RNGD를 Kubernetes 환경에서 원활하게 배포할 수 있도록 엔지니어링 역량을 집중하고 있다. DRA의 도입으로 다음과 같은 이점이 가능하다:

• 하드웨어 토폴로지를 고려한 Pod 스케줄링 지원
• 복잡한 장치 요청 및 할당 과정을 단순화한 리소스 관리
• 파티션 가능한 장치(partitionable devices)에 대한 네이티브 지원