데이터 카나리: Netflix가 카탈로그 메타데이터를 검증하는 방법

Netflix의 카탈로그 메타데이터는 콘텐츠의 존재 여부, 재생 가능 여부 등을 결정하는 핵심 데이터다. 최근 코드 변경 없이 발생한 데이터 피드 오류로 인해 일부 타이틀의 메타데이터가 누락되어 재생 장애가 발생하는 사고가 발생했다. 기존의 코드 배포용 카나리(Canary) 방식으로는 데이터 자체의 변질을 감지할 수 없다는 한계가 드러난 것이다.

이를 해결하기 위해 Netflix는 Data Canary Orchestrator Pattern을 도입했다. 이 시스템은 기존의 코드 카나리 도구가 가진 시간적 제약과 섀도 트래픽(Shadow Traffic)의 한계를 극복하기 위해 설계되었다.

주요 특징은 다음과 같다:

• Dedicated Orchestrator Pattern: 별도의 오케스트레이터 인스턴스가 Baseline 클러스터와 Canary 클러스터의 상태를 동기화하고 카나리 흐름을 조정한다.
• Real Production Traffic: 섀도 트래픽 대신 실제 프로덕션 트래픽을 사용하여 전체 재생 라이프사이클에서의 실제 고객 영향을 검증한다.
• Rapid Detection: 데이터 사이클 내에서 문제를 감지하고, 문제가 발생할 경우 배포를 즉시 차단하여 장애 확산 범위(Blast Radius)를 최소화한다.

이 시스템을 통해 Netflix는 데이터 변환 과정에서 발생하는 오류를 10분 이내에 감지하고, 잘못된 데이터가 전 세계 사용자에게 전달되는 것을 방지한다.