Amazon SageMaker Unified Studio를 활용한 교차 계정 Amazon Redshift 데이터 공유 거버넌스 패턴 검증

한국 대형 리테일 그룹의 사례를 통해, 자회사별 Amazon Redshift와 ML 워크로드를 분리 운영하면서도 그룹 차원의 통합 분석을 가능하게 하는 거버넌스 패턴을 검증했다.

핵심 요건은 소스 컴퓨트의 격리, 타 계정의 안전한 조회, SageMaker Catalog를 통한 자산 관리, 그리고 Amazon Redshift 엔진을 통한 직접 쿼리이다.

검증 결과, 가장 권장되는 아키텍처는 Publisher 프로젝트를 소스 계정에, Consumer 프로젝트를 도메인 계정에 배치하는 구조다. 다계정 환경의 운영 편의를 위해 Account-agnostic Project Profile을 함께 사용한다.

이 구조는 두 가지 메커니즘을 통해 요건을 충족한다.

• 거버넌스 경로: SMUS cross-account 구독을 통해 자산의 게시 및 구독 워크플로우를 완결한다. Publisher 프로젝트가 소스 클러스터와 동일 계정에 있어 권한 행사가 용이하다.
• 컴퓨트 격리 경로: Redshift data sharing을 활용한다. 컨슈머의 쿼리는 자체 워크그룹에서 실행되며, 소스 클러스터에는 스토리지 읽기(storage read) 부하만 발생한다.

반면, 수동 데이터 공유 방식은 SMUS Data Source가 외부 객체를 자산으로 인식하지 못해 카탈로그 기능을 사용할 수 없으며, Federated Catalog 방식은 SageMaker Catalog의 게시 기능을 지원하지 않는 한계가 있다.