Netflix가 실시간 대규모 스트리밍 뒤에 만든 운영 레이어

Netflix의 라이브 운영은 2023년 초만 해도 엔지니어가 직접 대시보드를 보며 Slack으로 조율하는 임시 대응에 가까웠다. 전용 운영팀도, 정식 command center도 없었고, 임시 control room과 외부 broadcast facility에 의존해 첫 라이브들을 처리했다.

이후 라이브 규모가 빠르게 커지면서 운영 방식도 단계적으로 분화됐다. Streaming Operations Engineering(SOE) 팀이 라이브 파이프라인 설정과 방송 중 지원을 맡아 코어 개발자들의 부담을 덜었고, 시설과 하드웨어 이슈를 전담하는 Broadcast Operations Engineer(BOE) 가 추가되면서 물리 인프라까지 전용 운영 체계가 자리 잡았다.

컨트롤룸 운영도 발전했다. 초창기에는 first/second captain 방식으로 BCO 두 명이 한 이벤트를 함께 처리했지만, 하루 10개 수준의 동시 이벤트를 다루기엔 비효율적이었다. 이에 따라 Transmission Operations Center(TOC) 모델이 도입됐고, 운영은 세 역할로 분리됐다.

• Transmission Control Operator(TCO): fiber, SRT, satellite 등 유입 신호를 관리하며 최대 5개 이벤트를 동시에 처리
• Streaming Control Operator(SCO): 스트리밍 파이프라인과 syndication outbound feed를 관리하며 최대 5개 이벤트를 동시에 처리
• Broadcast Control Operator(BCO): 각 이벤트의 품질, A/V 싱크, backup feed 전환, closed captions, SCTE 메시지 등을 1:1로 전담

가장 중요한 경기나 대형 이벤트에는 예외적으로 Big Bet Model을 적용해 한 이벤트에 전체 BOC를 붙인다. 이 방식은 대규모 일상 운영의 효율성과, 실패가 허용되지 않는 핵심 라이브의 안정성을 동시에 확보하기 위한 설계다.

운영상의 신뢰성은 현장부터 강하게 묶는다. Netflix는 주요 feed에 대해 3개의 완전히 분리된 전송 경로를 요구하고, 전송 장비의 이중 전원, UPS, surge conditioning, 시설 점검과 A/V sync, latency, caption 검증을 포함한 FACS/FAX 테스트를 반복한다. 결국 이 글의 핵심은, 대규모 라이브의 성패가 코드만이 아니라 사람, 절차, 시설로 이루어진 human infrastructure 에 달려 있다는 점이다.