MRC(Multipath Reliable Connection)로 대규모 AI 학습 네트워크 구축

OpenAI가 **MRC(Multipath Reliable Connection)**를 **Open Compute Project(OCP)**에 공개했다. AMD, Broadcom, Intel, Microsoft, NVIDIA와 2년간 공동 개발한 이 프로토콜은 frontier model 학습용 GPU 네트워크의 성능과 복원력을 동시에 높이기 위한 것이다. RoCE를 확장하고 UEC의 기법과 SRv6 기반 source routing을 결합했다.

대규모 학습에서는 한 스텝에 수백만 건의 데이터 전송이 몰리고, 네트워크 혼잡이나 링크 플랩이 전체 작업을 지연시킨다. OpenAI는 이를 줄이기 위해 네트워크를 더 단순하게 만들고, 장애가 나도 학습이 멈추지 않는 구조로 다시 설계했다.

핵심은 멀티플레인 네트워크다.

• 800Gb/s NIC 하나를 8개의 100Gb/s 링크로 쪼개 8개 병렬 플레인으로 운영한다.
• 64포트 스위치는 512포트로 확장돼 약 131,000 GPU를 2단 스위치로 연결할 수 있다.
• 이 방식은 기존 3~4단 설계보다 전력과 부품 수를 줄이고, 경로 다양성을 늘린다.

MRC는 여기에 packet spraying과 적응형 경로 관리를 더한다. 하나의 transfer를 한 경로에 묶지 않고 수백 개 경로로 분산하고, 수신 측은 각 패킷의 최종 메모리 주소를 보고 즉시 메모리에 쓴다. MRC 연결은 경로별 상태를 소량 유지하며, 혼잡한 경로는 바꾸고 손실이 나면 해당 경로를 즉시 제외한 뒤 probe packets로 복구를 확인한다. packet trimming으로 혼잡 손실을 장애로 오인하는 오탐도 줄인다.

라우팅은 SRv6 기반 source routing으로 바뀌었다. 송신자가 패킷의 경로를 직접 지정하고 스위치는 미리 설정된 static routing table만 따르기 때문에, BGP 같은 동적 라우팅을 돌리지 않아도 된다. 그 결과 장애 복구는 마이크로초 단위로 이뤄지고, 초 단위의 재수렴 없이 학습을 계속할 수 있다.

이 방식은 이미 OpenAI의 가장 큰 NVIDIA GB200 슈퍼컴퓨터들, **Oracle Cloud Infrastructure(OCI)**의 Abilene 사이트와 Microsoft Fairwater에 배포돼 있다. 실제 운영에서는 분당 여러 건의 링크 플랩이 발생해도 학습에 측정 가능한 영향이 없었고, NVIDIA와 Broadcom 하드웨어를 활용해 여러 OpenAI 모델 학습에도 쓰였다. 4개의 tier-1 스위치를 재부팅한 상황에서도 운영팀과 조율 없이 작업을 계속했고, 8포트 NIC에서 포트 1개가 빠져도 최대 속도는 1/8만 줄며 MRC가 경로를 재계산해 대개 1분 안팎에 플레인을 복구한다.