AI 시대 데이터센터: GPU의 뜨거운 열을 식히는 방법

AI 시대에는 수만 개의 GPU가 쉴 틈 없이 돌아가면서 데이터센터가 전력 기근과 발열이라는 이중고에 직면한다. 카카오뱅크 인프라팀은 해외 데이터센터 방문을 통해, 기존 인프라에 수냉식(액체 냉각) 을 어떻게 도입할지 벤치마킹했다.

전통적인 공랭식(Air Cooling) 은 CRAC/CRAH가 차가운 공기를 순환시켜 서버 열을 식히는 방식이지만, 랙당 전력 밀도가 높아지면서 한계가 분명해졌다. 랙당 10kW를 넘기기 시작하면 핫스팟이 생기고, 냉각 설비를 늘릴수록 공간과 비용이 커지며, 결국 PUE(Power Usage Effectiveness) 도 악화된다. 일반적인 공랭식 데이터센터의 PUE는 1.5를 넘는 경우가 많다.

반면 액체 냉각(Liquid Cooling), 특히 D2C(Direct-to-Chip) 방식은 열원인 GPU와 CPU에 냉각수를 직접 전달해 훨씬 효율적으로 열을 제거한다. 액체는 공기보다 열용량이 커서 PUE를 1.1~1.3 수준까지 낮출 수 있고, 100kW를 넘는 초고밀도 랙 환경도 대응할 수 있다.

냉각 기술은 룸(Room) 단위에서 로우(Row), 그리고 칩(Chip) 바로 위로 점점 가까워지는 방향으로 진화해 왔다. 룸 단위의 CRAC/CRAH, 랙 사이에 배치하는 In-Row Cooling, 랙 뒷문에 열교환기를 붙이는 RDHx, 칩에 콜드플레이트를 밀착하는 D2C, 그리고 서버 전체를 절연액에 담그는 Immersion Cooling까지, 핵심은 결국 열원과의 거리를 줄이는 것이다.

AI 데이터센터는 냉각 장비만 바꾸는 것으로 끝나지 않는다. 전력은 변압기와 배전반부터 다시 설계해야 하고, 물은 누수와 WUE(Water Usage Effectiveness) 관리라는 새 위험을 만들며, 안정성은 기존 2N을 넘어 N+M이나 3중화 수준으로 강화해야 한다. 결국 AI 인프라는 표준형 설계가 아니라 워크로드와 환경에 맞춘 맞춤형 설계, 그리고 전력·냉각·IT를 함께 보는 통합 운영 역량이 핵심이 된다.