Netflix, DataJunction 도입으로 지표 통합 및 실험 효율화

Netflix는 지표 정의의 파편화와 복잡성을 해결하기 위해 DataJunction을 도입했다. 특히 Experimentation Platform 내에서 새로운 지표를 온보딩하는 데 수 주가 소요되던 문제를 해결하고, 데이터 과학자와 분석 엔지니어가 가설을 빠르게 검증할 수 있도록 지원한다.

DataJunction 선택 이유

팀 내부 프레임워크와 Airbnb의 Minerva 등 여러 솔루션을 검토한 끝에, Netflix는 강력한 SQL 파싱 및 생성 엔진을 갖춘 DataJunction을 최종 선택했다. DJ는 모든 정의를 연결된 그래프 형태로 저장하여 관계형 데이터베이스가 메타데이터를 처리하는 방식과 유사하게 동작한다. 이 아키텍처는 원활한 SQL 변환과 풍부한 메타데이터 관리를 가능하게 하며, Netflix의 즉각적인 사용 사례에 필수적이었다.

아키텍처 및 구현

자원 제약으로 인해 사이드 프로젝트로 시작된 이 시스템은 화려한 UI보다 핵심 시맨틱 레이어에 집중하는 API-first 접근 방식을 우선시했다. 주요 아키텍처 결정 사항은 다음과 같다.

• 그래프 우선 설계: SQL 입력을 파싱하고 SQL 출력을 생성하는 견고한 시맨틱 레이어 엔진에 집중했다.
• 큐브를 소비 프로토콜로 채택: 지표와 차원을 캡슐화하는 분석 큐브를 도입하여 Druid 및 Superset 같은 도구와의 통합을 용이하게 했다.
• 피드백 루프: 대시보드 지표를 DJ 내 정의와 연결하여 사용자가 시각화에서 직접 지표를 확인하고 수정할 수 있도록 했다.

실험 플랫폼에 미친 영향

지표 정의를 중앙화함으로써 DataJunction은 조직 전반에서 지표 생성 및 공유를 간소화한다. UI, API, 클라이언트 라이브러리 등 유연한 인터페이스를 제공하여 사용자가 깊은 내부 지식 없이도 시맨틱 모델을 작성하고 관리할 수 있게 한다. 이러한 통합은 분석을 모든 수직 영역에서 접근 가능하게 만들고, 내부 LLM이 비즈니스 지표에 대해 책임 있는 설명을 제공할 수 있도록 하는 Netflix의 더 넓은 목표와 부합한다.