Vercel에서 리다이렉트 처리 용량을 무한대로 확장하기

리다이렉트 규모가 작을 때는 문제가 없지만, 수백만 개 단위로 늘어나면 지연 시간과 비용이 시스템의 핵심 과제가 된다. 기존의 Routing rules는 규칙이 늘어날수록 요청당 작업량이 선형적으로 증가하며, Middleware는 모든 요청에 추가 코드를 실행하여 지연을 유발한다.

Vercel은 이를 해결하기 위해 Bloom filter와 Sharding을 결합한 새로운 경로를 도입했다. Bloom filter는 데이터가 집합에 포함되어 있는지 확률적으로 확인하는 구조로, 리다이렉트가 필요 없는 대부분의 요청을 매우 빠르게 걸러내어 지연 시간을 최소화한다.

데이터 규모가 커짐에 따라 발생하는 메모리 문제를 해결하기 위해 Sharding 기술을 적용했다. 전체 데이터를 하나의 거대한 파일로 관리하는 대신, 경로를 해싱하여 여러 개의 작은 Shard로 분산 저장한다.

요청이 들어오면 먼저 Bloom filter를 확인한 뒤, 일치할 가능성이 있는 경우에만 해당되는 특정 샤드만 가져와 파싱한다. 이를 통해 프로세스 메모리 부담을 줄이고 외부 저장소와 파일 시스템 캐시를 효율적으로 활용한다.