Worldwide Repls 2부: 재미를 위한 로드 밸런싱 (수익을 위한 것은 아니지만)

Replit은 기존에 **Google Cloud Load Balancer(GCLB)**를 사용해 왔으나, 글로벌 인프라 확장 과정에서 두 가지 핵심적인 문제에 직면했다.

첫째는 지리적 라우팅의 불일치다. GCLB는 사용자의 요청 위치를 기준으로 컨테이너를 생성하지만, Replit이 의도한 최적의 위치에 컨테이너를 배치하는 로직을 완벽히 반영하지 못했다. 이로 인해 인도 사용자의 요청이 미국에서 처리되는 등 불필요한 네트워크 지연이 발생했다.

둘째는 부하 분산의 불균형이다. 특정 머신에 부하가 집중되어 서비스가 느려지거나 타임아웃이 발생하는 반면, 다른 머신은 유휴 상태로 남는 문제가 발견되었다.

이를 해결하기 위해 Replit은 컨트롤 플레인(Control Plane) 위에 자체 로드 밸런서를 구축하기 시작했다. 프로토타입 단계에서는 Prometheus 메트릭을 활용해 CPU 사용량과 실행 중인 Repl 수를 수집하고, subsetting(서브세팅) 알고리즘을 적용하여 확장 가능한 로드 밸런싱 모델을 검증했다.