Cloudflare, Gen 13 서버 공개: 캐시 대신 코어로 엣지 컴퓨트 성능 2배 달성

Cloudflare는 2년 전 AMD EPYC Genoa-X 기반 Gen 12 서버를 도입해 3D V-Cache 중심의 아키텍처로 요청 처리 계층 FL1을 최적화해 왔다. 하지만 차세대 하드웨어로 넘어가며 가장 큰 처리량 향상을 주는 CPU들은 캐시가 크게 줄어드는 문제가 있었고, 기존 소프트웨어 스택에서는 그 이점을 충분히 살리지 못했다.

이를 확인하기 위해 Cloudflare는 AMD uProf로 성능 카운터와 프로파일링을 수집했다. 그 결과 L3 cache miss가 크게 늘고, 이전에는 L3에 남아 있던 데이터가 DRAM까지 가야 하면서 요청 처리 시간이 메모리 지연에 지배되는 것으로 나타났다. L3 hit은 약 50 cycles에 끝나지만 DRAM 접근이 필요한 miss는 350+ cycles가 걸려, 캐시 축소의 대가가 매우 컸다.

초기 FL1 테스트에서 Gen 13은 처리량은 늘었지만 지연시간이 크게 악화됐다. 예를 들어 AMD Turin 9965는 처리량이 **+62%**까지 올라갔지만, 고부하에서는 지연시간이 50% 이상 증가해 서비스 품질 기준을 충족할 수 없었다. Cloudflare는 하드웨어 튜닝, 워커 확장, CPU pinning과 isolation도 시험했지만, 결정적 해법은 아니었다.

전환점은 AMD Platform Quality of Service (PQOS) 였다. 처음에는 단일 CCD 안에서 L3를 일부만 할당하는 방식으로는 효과가 제한적이었지만, 한 CCD 전체를 FL1에 전용하자 처리량은 유의미하게 좋아지고 지연시간은 허용 범위에 머물렀다.

근본적인 해결은 소프트웨어 재작성에서 나왔다. Cloudflare는 이미 FL2라는 Rust 기반 재구축을 진행 중이었고, 이는 Pingora와 Oxy 위에서 동작하며 15년간의 NGINX와 LuaJIT 코드를 대체하는 프로젝트였다. FL2는 메모리 안전성, 개발 속도, 전반적인 효율 향상을 목표로 했고, 결과적으로 거대한 L3 캐시에 의존하지 않는 구조가 되었다.

Gen 13 + FL2 조합은 실제 운영 지표에서 이를 증명했다. Turin 9965에서 FL2는 FL1 대비 CPU%당 요청 수 50% 증가, Gen 12 대비 지연시간 70% 감소, 처리량 100% 증가를 기록했다. Cloudflare는 이 조합으로 최대 2x 처리량, 최대 50% 성능/전력 향상, 랙 처리량 60% 향상을 달성했고, 이제 Gen 13 서버를 글로벌 엣지에 본격 배치하고 있다.