Data Projects: 넷플릭스 규모의 데이터 자산 관리

넷플릭스의 데이터 플랫폼은 수백만 개의 테이블과 수만 개의 스케줄링된 워크로드를 포함할 만큼 거대하다. 기존에는 개별 자산마다 **Access Control List(ACL)**를 설정하고, 워크로드를 작성한 개인의 ID로 실행하는 방식을 사용했다.

하지만 이러한 방식은 조직 개편 시 권한 업데이트가 어렵고, 담당자가 퇴사하거나 팀을 옮길 경우 워크로드가 중단되는 등 관리의 한계가 명확했다. 특히 권한 관리가 복잡해지면 보안을 위해 권한을 지나치게 넓게 허용하는 문제도 발생했다.

이를 해결하기 위해 도입된 Data Projects는 두 가지 핵심 기능을 제공한다.

• 자산의 논리적 그룹화: 테이블, 워크플로우 등 관련 자산을 하나의 Project라는 컨테이너로 묶어 통합 관리한다.
• 지속 가능한 가상 ID: 특정 개인의 생명주기에 의존하지 않는 Synthetic Identity를 부여하여, 담당자가 바뀌어도 워크로드가 안정적으로 실행되게 한다.

이제 관리자는 수백 개의 테이블 권한을 일일이 수정하는 대신, 해당 테이블들을 포함하는 하나의 Project에 대한 권한만 업데이트하면 된다. 각 프로젝트는 사용자, 그룹, 애플리케이션 등을 대상으로 Contributor 또는 Viewer와 같은 역할을 부여하여 효율적인 권한 관리를 지원한다.