Gen 13 내부: 역대 가장 강력한 서버를 만든 방법

Cloudflare는 FL2 전환으로 요청 처리 구조가 바뀌자, 그에 맞는 새 서버 세대인 Gen 13을 설계했다. 핵심 사양은 AMD EPYC 9965 Turin 192코어, 768GB DDR5-6400 메모리, 24TB PCIe 5.0 NVMe 스토리지, 듀얼 100GbE 네트워크다.

Gen 13은 Gen 12 대비 다음과 같은 목표를 달성한다.

• 처리량 2배 향상, 동시에 latency SLA 유지
• 전력 대비 성능 최대 50% 개선
• 랙 전력은 그대로 두고 랙당 처리량 최대 60% 향상
• 메모리 2배, 스토리지 1.5배, 네트워크 4배 확대
• PCIe encryption 하드웨어 지원 추가
• 열이 많은 PCIe accelerator에 대한 지원 개선

CPU 선택의 핵심은 L3 cache보다 코어 수였다. Cloudflare는 Turin 9755, 9845, 9965를 비교했지만, FL2 워크로드가 L3 cache 의존도가 낮고 코어 수 증가에 거의 선형으로 반응한다는 점을 확인했다. 그 결과 9965가 가장 높은 aggregate RPS와 좋은 performance-per-watt를 보여 최종 선택됐다.

선정 이유는 네 가지로 정리된다.

• FL2가 L3 cache 병목을 해소했다. Gen 12의 9684X는 코어당 12MB L3였지만, Gen 13의 9965는 코어당 2MB로 줄어도 충분했다.
• TCO가 더 좋았다. 192코어로 더 높은 집약도와 전력 효율을 얻었다.
• 운영이 단순해졌다. 더 적은 수의 고밀도 서버로 같은 compute를 제공할 수 있다.
• DDR5-6400, PCIe Gen 5.0, CXL 2.0 지원으로 플랫폼 수명이 길다.

메모리는 12채널 1DPC 구성으로 전 채널을 모두 채운다. Cloudflare는 12x 64GB DDR5-6400 ECC RDIMM을 선택해 총 768GB를 구성했으며, 이는 4GB/core라는 기존 비율을 유지하면서 Gen 12 대비 총 메모리 용량을 2배로 늘린 선택이다. 더 작은 576GB 구성은 부족하고, 1152GB 구성은 비용과 전력 면에서 과하다고 판단했다.

또한 dual-rank 2Rx4 DIMM을 사용해 메모리 처리량을 끌어올렸다. 384개 hardware thread 기준으로 614GB/s의 peak bandwidth를 확보해 thread당 1.6GB/s 수준을 제공하며, 현재 워크로드는 메모리 bandwidth에 묶여 있지 않으므로 이 여유분은 향후 성장 여력으로 남는다.

스토리지는 PCIe 5.0 E1.S NVMe로 바꾸고, 슬롯도 2개에서 3개로 늘려 총 16TB에서 24TB로 확장했다. 동시에 전면 drive bay를 추가해 최대 10x U.2 PCIe 5.0 NVMe를 더 장착할 수 있게 했고, compute SKU와 storage SKU를 같은 chassis에서 유연하게 운용할 수 있도록 했다.

운영 수명은 5년, 드라이브 내구성은 1 DWPD를 목표로 잡았다. 사용한 Samsung PM9D3a와 Micron 7600 Pro는 모두 이 조건을 만족하며, NVMe 2.0과 OCP NVMe Cloud SSD Specification 2.0을 지원해 ZNS, Simple Copy Command, 더 강한 telemetry와 lockdown 기능도 활용할 수 있다.

네트워크는 Gen 12의 dual 25GbE에서 Gen 13의 dual 100GbE로 올라가며, 전력 예산을 유지한 채 더 큰 처리량을 감당하도록 맞췄다. 전체적으로 Gen 13은 FL2 시대에 맞춰 더 많은 코어, 더 넓은 메모리 대역폭, 더 큰 스토리지, 더 빠른 네트워크를 한 플랫폼에 담아낸 서버다.