DGX Spark 16대 클러스터 구축

16대 DGX Spark를 FS N8510 패브릭 스위치에 연결해 구축을 끝냈고, 전체가 line rate로 동작한다.

각 노드는 Nvidia 버전의 Ubuntu가 기본 탑재된 상태로 제공됐고, 랙 장착 뒤 동일 계정 생성, 노드별 약 20분 업데이트 대기, passwordless SSH, jumbo frames, IP 설정을 순서대로 마쳤다.

노드당 QSFP56 1개를 쓰며, DGX Spark가 두 NIC를 하나의 포트로 본딩해 dual rail을 만든다. 실제 측정치는 레일당 100~111Gbps, 합산 200Gbps 수준이다.

목표는 unified memory 용량을 크게 확보해 모델을 서빙하는 것이다.

• 8노드에서 GLM-5.1-NVFP4(434GB) 를 TP=8로 서빙했다.
• 다음 테스트 대상은 DeepSeek과 Kimi다.
• 장기적으로는 prefill/decode 분리 구조를 목표로 하며, decode용으로 M5 Ultra Mac Studio 2~4대를 추가할 계획이다.
• 랙에는 QNAP 374TB U.2 NAS, Dual 4090 워크스테이션 2대, SuperMicro 4x H100 NVL, GH200도 들어갔다.