분산 트레이닝 관점에서 본 AWS 인터커넥트 기술 소개 - AWS의 인터커넥트 기반 기술, ENI

EFA의 성능은 결국 ENI(Elastic Network Interface) 를 어떻게 붙이느냐에 달려 있다. EC2에서는 물리 NIC 대신 소프트웨어 계층의 ENI가 네트워크 역할을 맡고, Primary ENI 와 Secondary ENI 를 포함해 인스턴스 유형별로 연결 규칙이 달라진다.

ENI는 ENA, EFA with ENA, EFA-only 세 가지 유형으로 나뉜다. 관리 트래픽은 IP 기반으로 유지해야 하므로 Primary ENI는 반드시 EFA with ENA 또는 일반 ENA여야 하고, EFA-only 는 Secondary ENI로만 사용할 수 있다.

AWS 고성능 인스턴스에서는 네트워크가 NetworkCardIndex 와 DeviceIndex 라는 두 계층으로 나뉘어 관리된다. 네트워크 카드는 물리 Nitro 자원을 논리화한 단위이고, DeviceIndex는 각 카드 안에서 ENI가 배치되는 순서를 뜻한다.

주요 예시는 다음과 같다.

• p5.48xlarge / p5e.48xlarge: 네트워크 카드 32개, 카드당 ENI 2개, 총 64개 ENI
• p6-b200.48xlarge: 네트워크 카드 8개, 카드당 ENI 4개, 총 32개 ENI, 카드당 400 Gbps, 총 3,200 Gbps

핵심 규칙도 분명하다.

• Primary ENI 는 반드시 NetworkCardIndex=0 에 할당된다.
• EFA ENI 는 네트워크 카드당 최대 1개만 허용된다.
• Primary ENI에 EFA를 쓸 때는 EFA-only 가 아니라 EFA with ENA 여야 한다.

실전 구성에서는 p5.48xlarge 에서 첫 카드에 관리용 ENA와 HPC용 EFA-only를 함께 두고, 나머지 31개 카드는 각각 EFA-only로 채우는 방식이 소개된다. 보안 그룹과 서브넷은 클러스터 전체에서 일관되게 맞추는 것이 중요하며, EFA 통신을 위해서는 동일 보안 그룹에서 All Traffic 허용이 필요하다.

운영 측면에서는 32개 ENI를 수동으로 맞추기보다 CloudFormation, Terraform, 또는 AWS ParallelCluster 로 자동화하는 편이 적절하다. 구성 후에는 ibv_devices 로 RDMA 디바이스 수를 확인하고, fi_info, fi_pingpong, nccl-tests 로 성능을 검증하며, EFA node exporter 와 CloudWatch / Grafana 로 지속 모니터링하는 흐름이 권장된다.

마지막으로 p6-b300.48xlarge 는 2025년 출시된 최신 세대로, 더 진화한 네트워크 구성을 제공하는 방향으로 소개된다. AWS 고성능 GPU 인스턴스의 네트워크 설계는 카드 수를 무작정 늘리기보다, 카드당 대역폭과 분산 효율을 끌어올리는 쪽으로 발전하고 있다.