두 개의 Flink 오토스케일러 이야기

Netflix는 2017년부터 Apache Flink을 활용해 스트림 프로세싱을 수행해 왔으며, 2026년 기준 여러 AWS 리전에 걸쳐 3만 개 이상의 Flink 작업을 운영 중이다. 대부분의 작업은 관리 플랫폼인 Data Mesh에 의해 자동 생성되며, 일부는 개인화나 광고 등 복잡한 유성(stateful) 파이프라인으로 구성된다.

자체 개발한 첫 번째 오토스케일러는 외부에서 클러스터 메트릭을 모니터링하는 방식이었으며, 이를 통해 수천 개의 관리 파이프라인에서 자원 사용량을 25~45% 절감하는 성과를 거두었다. 그러나 이 시스템은 단일 노브(총 TaskManager 수)만 조절할 수 있어 복잡한 다중 연산자 DAG 구조를 가진 작업에는 한계가 있었다. 또한 외부 메트릭의 정확성 문제와 유지보수 비용이 부담으로 작용했다.

이에 Netflix는 Apache Flink 커뮤니티에서 개발된 오픈소스 오토스케일러를 도입했다. 이 시스템은 작업 내부에서 각 연산자의 실제 처리율(TPR)을 추정하여 그래프 전체의 병렬성을 계산하는 방식으로, 기존 시스템이 처리하지 못했던 복잡한 워크로드를 효율적으로 관리할 수 있다. Netflix는 현재 두 시스템을 모두 운영 중이며, 점차 오픈소스 버전으로 수렴해 나가고 있다.