KubeCon China 2026, AI 인프라 경쟁력은 하드웨어 아닌 '운영'에 있다

KubeCon China 2026에서는 AI 인프라의 경쟁력이 단순한 하드웨어 확보를 넘어 자원 활용 효율과 안정적인 운영 역량에 달려 있다는 점이 강조됐다. 기존 클라우드 네이티브 기술인 Kubernetes와 OpenStack이 대규모 GPU 관리 및 AI 학습 지원 핵심 인프라로 부상하고 있다.

GPU 자원 효율화 및 추론 최적화

Viettel은 팀별 GPU 할당 방식의 비효율을 해결하기 위해 통합 플랫폼을 구축했다. OpenStack과 Kubernetes, HAMi를 결합한 4계층 아키텍처를 통해 Token-as-a-Service(TaaS) 모델을 적용했으며, 특정 추론 환경에서 GPU 사용량을 약 71% 줄이고 서비스 준비 시간을 5분 이내로 단축했다. Huawei의 Kthena는 LLM 추론 시 Prefill과 Decode 단계의 자원 특성이 다른 점에 착안해, 두 단계를 분리 운영함으로써 자원을 세밀하게 관리하는 방식을 제시했다.

분산 학습 성능 및 장애 복원력

Huawei는 Ascend SuperPoD 환경에 맞춘 PyTorch 기반 분산 학습 라이브러리 HyperParallel을 공개했다. Atlas 800 계열 클러스터에서 Qwen3-30B-A3B 모델을 학습한 결과, 기존 PyTorch FSDP2 대비 학습 처리량(Throughput)이 200% 이상 향상됐다. Meta는 10만 개 규모의 GPU 클러스터에서 발생할 수 있는 장애에 대응하기 위해 torchcomms, NCCLX 등 통신 기술과 Point-to-Point Checkpoint 구조를 소개하며, 장애 발생 시 학습 중단 시간을 최소화하는 복원 전략을 공유했다.

AI 기반 운영 자동화 및 하드웨어 동향

IBM과 Red Hat은 Argo Rollouts와 AI 에이전트를 결합한 Self-Healing 기술을 시연했다. 오류 발생 시 AI가 로그를 분석해 롤백을 수행하고, 코딩 에이전트가 수정 코드를 제안해 GitHub PR을 생성하는 과정을 보여줬다. 전시장에서는 Huawei의 Atlas 950 SuperPoD가 UnifiedBus를 통해 최대 8,192개의 NPU를 연결하는 대규모 컴퓨팅 시스템으로 주목받았다.