Netflix, Conductor 4.0 출시… 워크플로당 3만 개 작업 지원 및 지연 시간 40% 단축

Netflix가 워크플로 오케스트레이션 엔진 Conductor의 4.0 버전을 출시하며 대규모 리빌드를 완료했다. 기존 버전의 주요 병목 현상은 전체 워크플로 상태를 메모리에 로드하는 방식이었으며, 이로 인해 워크플로당 약 2,500개 작업으로 제한되었다. 새로운 아키텍처는 워크플로 메타데이터와 작업 데이터를 분리하는 'Partitioned Task Model'을 도입해 워크플로당 30,000개 작업으로 확장했으며, 이는 10배 이상 증가한 수치다. 이번 재구성은 프로덕션 환경에서 p99 워크플로 평가 지연 시간을 약 40% 단축하는 성과도 거뒀다. 현재 Conductor는 150개 애플리케이션에서 약 200,000개의 워크플로 정의를 지원하며, 월평균 약 4억 2천만 개의 워크플로를 실행한다. 이번 업데이트에는 락 경합을 제거하기 위한 비동기 워크플로 평가, 동시성 제어를 위한 새로운 'Run Strategies'(예: 키별 순차 실행), 그리고 Netflix의 Titus(컨테이너) 및 Stratum(서버리스) 플랫폼과 직접 통합되는 관리형 작업이 포함됐다. 또한 타입 안전한 Java DSL(Workflow SDK)이 JSON 작성을 대체해 개발자 경험을 개선하고 Netflix Ads와 같은 복잡한 워크플로의 빠른 도입을 가능하게 한다.