Netflix, Flink 도입으로 라이브 광고 파이프라인의 단일 장애점 제거

Netflix가 라이브 스트리밍 급증에 대응하기 위해 Ads Event Pipeline을 재설계하며, 동기식 데이터베이스 쓰기를 Apache Flink 스트림 처리로 대체했다. 기존 아키텍처는 광고 서빙의 핵심 경로에서 Metadata Registry에 동기식으로 데이터를 기록해 단일 장애점과 확장성 병목을 유발했으며, Jake Paul vs. Mike Tyson 경기 같은 트래픽 폭증 시 위험이 컸다. 이 의존성을 제거해 레지스트리 장애로 인한 광고 서빙 중단 리스크를 없앴다.

아키텍처 및 조인 메커니즘

새 시스템은 Kafka 로그와 클라이언트 이벤트 스트림을 Flink의 KeyedCoProcessFunction을 통해 실시간으로 조인한다. 기본 내장 윈도우 조인 대신 커스텀 연산자가 60분 윈도우를 관리하며, 99.999%의 이벤트가 즉시 또는 해당 시간 내에 보강되도록 보장한다. 60분 이상 지연된 이벤트는 Maestro와 Spark 배치 작업을 사용하는 별도 복구 경로로 라우팅되어 데이터 손실을 방지한다.

크로스 리전 및 중복 제거 전략

클라이언트 이벤트와 광고 응답이 서로 다른 리전에서 발생하는 네트워크 변경 사항에 대응하기 위해, Netflix는 광고 토큰에 서빙 리전 정보를 인코딩한다. 이를 통해 모든 응답을 전역적으로 복제하는 대신 이벤트를 올바른 리전으로 전달할 수 있다. 중복 제거는 외부 키-값 저장소에서 짧은 TTL을 가진 Flink 로컬 상태로 이동했으며, 네트워크 홉과 경합 조건을 제거하면서도 최소 한 번(at-least-once) 전달 보장을 유지한다.

롤아웃 및 성능 결과

전환 과정에서는 출력 일관성을 보장하기 위해 병렬 실행과 자동화된 감사 기능을 갖춘 섀도 모드를 사용했다. 부하 테스트 결과, 대규모 동시 광고 휴식 시간 동안 단일 AWS 리전에서 초당 수십만 건의 이벤트를 거의 무오류로 처리할 수 있음을 입증했다. 기존 Metadata Registry 및 관련 서비스는 폐기되어 시스템이 단순화되었고, 동기식 데이터베이스 쓰기에 대한 핵심 경로 의존성이 제거되었다.