SkyPilot TAS, 랙 인식 배치로 NVL72 효율 27% 향상

• NVLink과 InfiniBand 간 성능 격차로 인해 랙 경계를 넘는 분산 학습 작업은 43%의 성능 저하를 겪으며, NVL72 시스템에는 랙 인식 스케줄링이 필수임
• NVIDIA 모델링 결과, 2% 노드 가용성 가정 하에 2,304노드 클러스터에서 18노드 슬라이스 대비 16노드 슬라이스가 27% 더 많은 사용 가능 용량을 제공함
• 512개 GB300 GPU에서 GR00T N1.7 사전 학습 시 랙 인식 슬라이스 기반 스케줄링이 처리량을 14.4% 높이고 반복 시간을 1.59초에서 1.39초로 단축함
• SkyPilot Topology-Aware Scheduler(TAS)는 멀티노드 작업을 단일 랙에 배치하고 예비 노드를 핫스왑에 활용하여 NVLink 도메인 무결성을 유지함

Performance Impact

• 동일한 분산 학습 작업에서 InfiniBand 랙 간 트래픽은 NVLink 대비 43%의 성능 저하를 유발함
• 표준 8-GPU 서버에서 64-way Expert Parallelism(EP)은 InfiniBand 사용을 강제하여 통신에 학습 시간의 60%를 소모할 수 있음
• GB200 NVL72의 32-way EP는 8-GPU B200 서버 대비 DeepSeek-R1 서빙에서 GPU당 최대 4.4배 높은 처리량을 달성함

Scheduling Mechanism

• TAS는 작업을 16노드 슬라이스(설정 가능)로 분할하여 예비 노드 2개를 포함해 개별 랙에 배치함
• Frontier Trainer는 동일 랙 내에서 고장 노드를 예비 노드로 핫스왑하며, 예비 노드가 소진되면 건강한 랙으로 재스케줄링함
• Automatic Defragmentation은 안전하게 재시작 가능한 워크로드를 선점하여 막힌 대형 작업에 전체 랙을 확보하고 공유 클러스터의 조각화를 방지함

Reliability and Cost

• NVL72 랙의 평균 고장 간격(MTBI)은 약 27일로, Meta가 슈퍼클러스터에서 측정한 4-GPU 노드의 490일 대비 짧음
• 10,000-GPU 클러스터에서 14.4%의 속도 향상은 학습 시간당 약 16,700달러, 학습 일당 약 400,000달러의 비용을 절감함