Netflix, Single-Tenant Titus로 VM 수준 격리 및 노이시…

Netflix가 상태 유지(stateful) 및 고처리량 워크로드의 VM 수준 격리를 위해 Single-Tenant Titus를 도입함. 공유 커널 리소스(최종 레벨 캐시, 메모리 대역폭)로 인한 노이시 네이비어(noisy neighbor) 간섭을 제거함.
기존 Titus API, 배포 파이프라인, Compute/Platform 팀의 호스트 패치 및 스케일링 소유권을 유지하면서 특정 워크로드에 전용 EC2 인스턴스를 할당함.
민감한 워크로드를 전용 노드로 이동하여 안티-아피니티(anti-affinity) 단편화를 제거하고, 나머지 멀티테넌트 플릿의 더 높은 밀도 패킹을 가능하게 함. 리패킹으로 인한 자체 유발 장애도 감소함.
향후 HTB 네트워크 셰이핑을 eBPF 기반 Expected Departure Time으로 교체하고, 멀티테넌트 측 하드웨어 파티셔닝을 위해 Intel RDT, AMD PQoS, NVIDIA MIG를 평가할 예정임.

Implementation & Scheduling

허용 목록(allowlist) 기반 연동 계층을 통해 워크로드가 옵트인하며, 태스크에 싱글테넌트 라벨과 허용 인스턴스 패밀리 태그를 부여함.
오토스케일링이 요청된 CPU, 메모리, GPU 리소스에 맞는 EC2 인스턴스를 적시에 프로비저닝하여 전용 노드의 미사용 용량을 최소화함.
스케줄러가 팟 안티-아피니티, 선점 면제 우선순위 클래스, 노드 테인트를 사용하여 공동 배치(colocation) 및 관련 없는 워크로드 배치를 방지함.

격리 벤치마크는 'havoc' 컨테이너(UDP 플러드, 캐시/메모리 스트레스)를 이용한 차등 테스트로 처리량 및 지연 시간 효율성 지표를 통해 노이시 네이비어 영향을 정량화함.
전체 부팅 및 이미지 풀링 비용으로 인해 싱글테넌트 런치 지연 시간이 높으나, 스타그즈(stargz), SOCI를 통한 지연 풀링 스냅슈터(lazy-pulling snapshotters) 및 CRIU 체크포인트/리스토어로 완화함.
작은 인스턴스는 큰 인스턴스(수 퍼센트)에 비해 고정 플랫폼 오버헤드(수십 퍼센트)가 높아, 이 모드는 작은 버스티 워크로드보다 큰 장기 실행 워크로드에 적합함.