Netflix가 Kueue를 통해 배치 컴퓨팅을 단순화한 방법

Netflix는 인프라를 Kubernetes-native로 전환하는 과정에서, 기존에 자체 개발하여 사용하던 배치 솔루션인 **CMB(Compute Managed Batch)**를 Kueue로 교체했다. CMB는 테넌트 계층 구조를 통해 워크로드를 관리하고 용량을 할당하는 역할을 수행해 왔다.

기존 CMB는 2018년에 구축되어 현재의 Kubernetes 생태계와 격리되어 있었으며, **Preemption(선점)**과 같은 최신 기능을 구현하는 데 어려움이 있었다. 반면 Kueue는 클라우드 네이티브한 Job Queueing 시스템으로서 다음과 같은 이점을 제공한다.

• Kubernetes 생태계와의 통합: 오픈 소스 프로젝트를 활용해 개발 복잡도 감소
• 효율적인 자원 관리: Fair sharing 및 계층적 테넌트 구조 지원
• 현대적인 기능 구현: 기존 CMB에서 구현하기 어려웠던 선점(Preemption) 기능 지원

이번 마이그레이션을 통해 Netflix는 수백만 개의 배치 작업을 성공적으로 이전했으며, 더욱 유연하고 확장 가능한 컴퓨팅 플랫폼을 구축할 수 있게 되었다.