[AI 인프라] RoCEv2 기반 AI GPU 클러스터 네트워크 설계 고려사항

kt cloud는 현재 인피니밴드(InfiniBand)의 독점적 구조에서 벗어나 개방형 이더넷 기반인 RoCEv2로의 전환을 위한 기술 검증을 진행 중이다. CSP 운영자에게 있어 핵심 과제는 Tail Latency를 최소화하면서 네트워크 패브릭의 활용도를 극대화하는 '스윗 스팟'을 찾는 것이다.

InfiniBand는 하드웨어 레벨에서 손실 없는(Lossless) 통신을 지원하지만, RoCEv2는 이더넷 생태계의 개방성과 낮은 TCO를 장점으로 가진다. 다만 RoCEv2를 통해 무손실 환경을 구축하려면 PFC(Priority Flow Control), ECN(Explicit Congestion Notification), 그리고 이를 통합 관리하는 DCQCN 메커니즘의 정밀한 설정이 필수적이다.

차세대 기술로는 지연 시간 기반의 혼잡 제어를 수행하는 TIMELY와 SWIFT가 주목받고 있다. 특히 SWIFT는 지연 시간 분해 기능을 통해 '희생자 흐름(victim flows)' 현상을 방지하며 매우 타이트한 꼬리 지연 시간을 보장한다.

네트워크 아키텍처 설계 시, GPU 간 통신을 위한 백엔드 AI 패브릭에는 지연 시간을 최소화할 수 있는 High-Radix 얕은 버퍼(Shallow Buffer) 스위치를 사용하는 것이 권장된다. 반면, 예측 불가능한 트래픽 폭주를 처리해야 하는 스파인(Spine) 패브릭에는 깊은 버퍼(Deep Buffer) 스위치가 더 적합하다.