Vera Rubin을 위한 설계, NVIDIA Spectrum-6가 기가스케일 AI 팩토리에 등장하다

AI가 기가스케일 시대로 진입함에 따라, 수십만 개의 GPU와 CPU를 연결하는 네트워킹이 토큰 생성 속도를 결정하는 핵심 요소로 부상했다. 이에 맞춰 NVIDIA는 차세대 Vera Rubin 플랫폼의 핵심 구성 요소인 Spectrum-6 이더넷 스위치 시스템을 발표했다.

Spectrum-6는 초당 102.4Tbps의 대역폭을 제공하며, 이전 세대 대비 2배의 용량을 갖췄다. 이는 NVIDIA Spectrum-X 이더넷 플랫폼의 차세대 모델로, AI 팩토리를 하나의 엔드 투 엔드 컴퓨팅 시스템으로 작동시키는 데 필요한 대역폭과 지능을 제공한다.

주요 특징 및 도입 현황은 다음과 같다:

• 주요 고객사: CoreWeave, Microsoft, Nebius, SpaceXAI, Tesla 등이 초기 도입 기업으로 참여한다.
• 기술적 혁신: ConnectX-9 SuperNIC와 결합하여 AI 전용 스케일아웃 패브릭을 구성하며, 트래픽을 지능적으로 분산하고 장애를 빠르게 우회한다.
• 효율성 및 냉각: 플러거블 및 코패키지드 옵틱스(CPO) 형식을 지원하며, **액체 냉각(Liquid Cooling)**을 지원해 네트워크 전력 효율을 높이고 AI 팩토리 전체의 냉각 최적화를 돕는다.

기존 이더넷이 기업용 트래픽(North-South)에 최적화되어 있었다면, Spectrum-X는 대규모 AI 워크로드에서 발생하는 집약적인 데이터 교환(East-West) 패턴을 처리하기 위해 설계되었다. 이를 통해 모든 GPU가 데이터 공급을 끊김 없이 받도록 하여, 대규모 모델 학습 및 추론 시 GPU 활용도를 극대화하고 결과 도출 시간을 단축한다.