Cloudflare, 파이프라인 최적화로 하드웨어 확장 2.5년 연기

Cloudflare 데이터 팀은 데이터 파이프라인에 대한 일련의 아키텍처 변경을 통해 하드웨어 확장 필요성을 2년 6개월 연기했다. 지수적으로 증가하는 트래픽과 선형적인 하드웨어 용량 간의 불균형을 해소하기 위해, 팀은 2026년 봄부터 가을까지 압축된 백본 트래픽을 약 70 GB/s 줄였다. 이러한 최적화는 웹의 20% 이상을 처리하고 초당 약 20억 건의 이벤트를 전달하는 네트워크를 지원한다.

모놀리스 분할 및 압축 개선

2022년, 팀은 내부 소비자가 모든 제품 필드를 수신하도록 강제하던 단일 모놀리식 스키마를 해체했다. 제품별 스키마로 교체하면서 백본 대역폭 사용량이 35-40% 감소했다. 2024년에는 압축 알고리즘을 LZ4에서 zstd로 변경했다. 초기에는 CPU 오버헤드 우려가 있었으나, 점진적 롤아웃 결과 영향은 미미했으며 압축 트래픽 처리량이 약 40% 감소해 동일한 인프라로 1.5배 더 많은 트래픽을 지원할 수 있게 되었다.

로드 밸런싱 및 지연 복제

재해 복구 능력을 확보하면서도 광역 전송 트래픽을 두 배로 늘리지 않기 위해, 팀은 모든 이벤트를 여러 지역에 이중 기록하는 방식에서 벗어났다. 대신 Logfwdr가 각 이벤트를 가용한 중앙 수신기에 정확히 한 번만 전송하는 공유 인제스트 풀(shared ingest pool) 모델을 채택했다. 복제는 이제 분산 버퍼링 계층인 Buftee를 통해 파이프라인 후반부에서 이루어진다. 이 변경으로 압축 전송 트래픽 약 43 GB/s가 제거되었고, 데이터 센터 간 복제로 인한 트래픽은 ~7 GB/s만 추가되어 순감소량은 36 GB/s에 달한다.

조기 샘플링 및 집계

팀은 중앙 수신기에서만 수행하던 샘플링을 Logfwdr 단계로 직접 확장했다. 제곱근 샘플링 알고리즘을 사용하여 대표성을 유지하면서 데이터 볼륨을 줄였다. 주요 데이터셋의 경우 전송되는 압축 데이터가 절반으로 줄어 25 GB/s(일일 2 PB 이상)를 절감했다. 또한 고유 IP 수 및 요청 합계와 같은 계산 기능을 파이프라인 초반으로 분산 집계했다. HTTP 데이터셋의 경우 압축 트래픽이 9+ GB/s에서 <2 GB/s로 80% 감소했다.

리소스 영향

이러한 변경 사항은 리소스 사용량에 즉각적인 영향을 미쳤다. Ready-Analytics 데이터셋의 경우 로드 밸런싱과 샘플링으로 처리량이 ~26 GB/s에서 ~8 GB/s로 감소했다. 이러한 개입이 없었다면 9월까지 트래픽이 60 GB/s를 초과했을 것이다. 또한 Ready-Analytics 수신기에서만 ~750개 CPU와 3.5 TiB의 메모리가 확보되었다. 종합적으로 이러한 조치들은 향후 5년간 예상되는 데이터 처리 부하를 절반으로 줄였다.