빌링 파이프라인의 갑작스러운 성능 저하, 원인은 ClickHouse의 숨겨진 병목 현상

페타바이트 규모의 ClickHouse 클러스터에서 파티셔닝 변경을 진행한 후, 핵심적인 빌링 작업이 중단되는 현상이 발생했다. 일반적인 메트릭으로는 별다른 오류가 나타나지 않아 문제의 원인을 파악하기 어려웠다.

분석 결과, ClickHouse의 쿼리 플래너(query planner) 내부에서 심각한 **락 경합(lock contention)**이 발생하고 있음을 확인했다.

해당 병목 현상을 해결하기 위해 직접 **업스트림 패치(upstream patches)**를 제작하여 문제를 해결했다.