Cloudflare, Zstandard와 Pingora로 캐시 저장소 페타바이트 절감

메모리와 하드 디스크 비용이 급증함에 따라 Cloudflare는 Pingora 아키텍처 내에서 Zstandard(zstd) 압축을 활용한 'Cache Transcoding' 프로토타입을 개발했다. 이 방식은 캐시에 저장되는 자산의 디스크 크기를 평균 1/3 수준으로 줄여, 소폭의 CPU 증가를 감수하고 페타바이트 단위의 유효 캐시 용량과 데이터 센터 간 대역폭을 확보한다.

Zstandard 압축의 효율성

Zstandard는 Facebook에서 개발한 손실 없는 압축 알고리즘으로, Brotli보다 42% 빠르면서 gzip보다 11.3% 작은 파일을 생성하는 균형 잡힌 성능을 제공한다. Cloudflare은 속도 저하를 방지하기 위해 zstd level 3를 적용했으며, 이는 압축률과 처리 속도의 최적점을 제공한다.

적용 대상과 제한 사항

모든 자산이 압축 대상은 아니다. 이미지, 비디오, 폰트 등 이미 압축된 미디어는 CPU 낭비를 초래하므로 제외한다. 대신 HTML, JSON, CSS, JavaScript 등 텍스트 기반 자산이 주요 대상이며, 테스트 결과 이러한 자산은 약 2.8배 압축되었다. 특히 4 KiB 이상의 압축 가능한 텍스트에 대해 전체 트래픽의 저장소 절감 효과를 거의 모두 달성하면서도 CPU 예산 내에서 운영 가능하다.

작동 원리 및 이점

캐시 미스 발생 시 Pingora 프록시가 응답 본문을 zstd로 인코딩하여 디스크에 저장하며, 클라이언트에게 전달하기 전에 디코딩한다. 이 과정에서 압축 비용은 자산이 캐시에 들어올 때 한 번만 발생하지만, 저장소 밀도 증가와 Tiered Cache 이동 시 데이터 전송량 감소 효과는 자산이 재사용될 때마다 지속적으로 나타난다.