Meta, 1GW 규모 Prometheus 슈퍼클러스터로 Muse 모델 학습 지원

• Meta의 오하이오주 뉴앨배니에 위치한 Prometheus 슈퍼클러스터가 1GW 규모 1단계 구축을 완료하고 Muse 기반 모델( Muse Wonder 포함) 학습을 진행함
• 사전 학습 goodput 85% 이상, 강화 학습(RL) goodput 90% 이상 달성했으며 중단 간 평균 시간(MTBI)이 47k GPU 시간에서 54k GPU 시간 이상으로 개선됨
• NVIDIA GB200 NVL72(Catalina)와 GB300 NVL72(Clemente) 플랫폼을 배포했으며 후자는 GPU당 288GB HBM과 1 exaFLOP 이상의 FP4 피크 성능을 제공함
• NVIDIA Vera Rubin NVL72 기반 San Miguel 플랫폼을 통한 향후 확장을 계획하며 랙당 2.52 peak EFLOPS FP4 학습 성능을 특징으로 함

Hardware & Network Architecture

• NVL72 랙 아키텍처를 활용하여 72개 GPU를 단일 가속기로 동작시키고 저지연 통신을 위해 전용 이더넷 백엔드 네트워크로 연결함
• NVIDIA Spectrum-4 기반 스위치와 Meta의 FBOSS 네트워킹 스택을 사용하여 건물당 최대 20,736개 GPU를 지원하는 네트워크 패브릭 구성함
• PAFT(Parallelism-Aware Fault Tolerance)를 구현하여 데이터 병렬 리플리카 수준에서 고장을 격리하고 72-GPU 도메인 내 예비 GPU를 활용해 학습 연속성을 유지함

Operational & Power Management

• Dynamo Dimmer 프레임워크를 통해 클러스터 전체 전력 변동(30-40%) 시 GPU 전력 한도를 점진적으로 조정하여 하드 스톱을 방지함
• 10만 개 이상 GPU 대상 단일 포트 업그레이드 P90 시간을 7시간 이상에서 2시간으로 단축하는 플릿 규모 펌웨어 배포 자동화 도입함
• 빠른 배포를 위한 Air-Assisted Liquid Cooling(AALC)과 목적형 AI 시설의 최대 전력 밀도를 위한 Facility Liquid Cooling(FLC)을 결합한 냉각 전략 적용함