마이크로소프트, Azure Maia 300 아키텍처 공개... 에이전틱 추론 성능 7배 향상

마이크로소프트가 클라우드 규모 에이전틱 추론을 위해 설계된 3세대 AI 가속기 Azure Maia 300의 아키텍처를 공개했다. 이 시스템은 소프트웨어, 실리콘, 랙 인프라, 네트워킹, 데이터센터를 공동 설계해 와트당 유용한 토큰과 달러당 유용한 토큰을 최적화한다. 이는 데이터 이동 최소화, 지역성 유지, 고정 전력 한계 관리가 필요한 에이전틱 워크로드의 연산 요구를 해결하기 위함이다.

소프트웨어 정의 데이터플로우 및 메모리 효율성

Maia 300은 Maia 200에서 도입된 **소프트웨어 정의 로컬 접근 데이터플로우 아키텍처(SDLA)**를 진화시켰다. 주요 아키텍처 변경 사항은 다음과 같다.

• NUMA 구성: 메모리가 균일 접근(UMA)에서 칩렛 간 지역성 인식 비균일(NUMA) 구성으로 전환되어, 소프트웨어가 데이터를 사용하는 컴퓨팅 근처에 배치할 수 있게 한다.
• 저정밀도 형식: 토큰당 이동 바이트 수를 줄이기 위해 하드웨어 가속 변환을 지원하는 향상된 MXFP4 및 3비트 미만 저장 형식을 도입했다.
• 메모리 계층: 소프트웨어 관리형 온다이 SRAM과 8개의 HBM4 스택을 결합해 가속기당 288 GB 용량과 18 TB/s 대역폭을 제공한다. 이는 Maia 200 대비 메모리 대역폭 2.5배, 용량 33% 증가, 와트당 HBM 대역폭 약 2배 향상이다.
• 멀티 칩렛 설계: 와트당 성능 이점을 위해 컴퓨팅은 TSMC N2P 공정 노드에 배치하고, 메모리 컨트롤러 및 I/O 기능은 별도 다이로 분리했다. 이를 통해 컴퓨팅 FLOPs를 36%, 스케일업 대역폭을 14% 증가시켰다.

네트워크 스케일업 및 슈퍼팟 아키텍처

네트워킹 계층은 이더넷 기반의 맞춤형 AI 트랜스포트로 네트워크를 데이터플로우 아키텍처의 확장으로 취급한다. 2계층 네트워크는 최대 12,288개 가속기로 구성된 슈퍼팟을 구축한다.

• 랙 내 토폴로지: 각 랙은 24개 트레이에 96개 가속기를 포함한다. 트레이 내 쌍은 직접 링크로 연결되며, 스위치 팹이 랙(팟) 내 모든 96개 가속기를 연결한다.
• 광 인터커넥트: 2계층 스위치는 광학 기술을 사용해 최대 128개 랙을 연결해 슈퍼팟을 형성한다.
• 통합 통신: 가속기는 호스트 개입 없이 슈퍼팟 내 모든 피어와 직접 통신을 시작할 수 있다. 대역폭 할당은 동적이며, 크로스 랙 트래픽이 제한될 때 가속기는 슈퍼팟 내 임의의 피어로 최대 750 GB/s를 전송할 수 있다.
• 분리형 추론: 프리필(prefill) 및 디코드(decode) 워커를 독립적으로 크기와 위치를 조정할 수 있으며, KV 상태는 스케일업 팹을 통해 직접 이동한다.

랙 규모 배포 및 효율성

물리적 랙 설계는 고정 전력 한계 내에서 밀도와 열 효율성에 초점을 맞춘다.

• 전력 및 밀도: 167-kW 랙 내에 96개 가속기를 통합해 Maia 200의 가속기 밀도를 두 배로 높였다. 각 트레이에는 호스트 프로세서, 메모리, 스토리지를 갖춘 4개의 가속기가 포함된다.
• 냉각: 액체 냉각은 가속기, 전압 레귤레이터, 스위치 ASIC에서 열 부하의 80% 이상을 제거한다. 시스템은 직접 시설 수 연결 또는 공기 냉각 환경을 위한 열교환기 유닛을 지원한다.
• 스위칭: 6개의 고래디스 스위치 ASIC이 3개의 액체 냉각 스위치 트레이에 통합되어 랙 로컬 연결성을 제공한다.

성능 결과

Maia 200 대비 Maia 300의 성능은 다음과 같다.

• 전체 96개 가속기 구성에서 랙 규모 토큰 처리량 최대 7배 증가.
• 와트당 성능 2.5배 이상 향상.
• 가속기당 메모리 대역폭 2.5배, 용량 33% 증가.

마이크로소프트는 데이터센터 제약 내에서 용량과 기능을 극대화해 Microsoft Copilot, GitHub Copilot, Microsoft Foundry 같은 제품을 지원하도록 Maia 300을 설계했다고 밝혔다.