Netflix, 자동 복구로 GPU 노드 가용성 99.95% 달성

Netflix는 GPU 인프라의 신뢰성을 높이기 위해 4단계 건강 점검 및 자동 복구 체계를 도입했다. 이 시스템은 클라우드 제공자의 기본 점검으로는 놓치기 쉬운 인터커넥트 성능 저하나 메모리 결함 등을 감지하기 위해 GPU 디바이스 레벨과 Kubernetes 노드 레벨에서 연속적인 점검을 수행한다. 문제가 발견되면 플랫폼이 자동으로 노드에 테인트(taint)를 적용하고 배수(drain)한 뒤 재순환시키거나, 특정 결함 디바이스를 격리한다. 이러한 자동 복구 기능과 체크포인팅, 스케줄러 재시도 기능이 결합되어 장시간 학습 작업이 하드웨어 장애에서도 생존할 수 있다. 그 결과 Netflix는 GPU 노드 가용성을 일관되게 99.95% 이상으로 유지하고 있으며, 작업 성공률은 약 98%에서 99.5% 이상으로 상승했다.