Pinterest, 지표 생성 자동화 및 에이전트 분석 지원 플랫폼 Metrics Board 출시

Pinterest가 페타바이트 규모 데이터 레이크 전반에서 지표 생성 자동화, 품질 관리, 에이전트 기반 분석을 지원하는 엔드투엔드 플랫폼 Metrics Board를 배포했다. 기존 맞춤 파이프라인으로 인해 발생했던 모니터링 불일치, 중복, 메타데이터 드리프트 문제를 해결하고 지표 정의의 단일 진실 공급원(Single Source of Truth)을 확립했다.

아키텍처 및 워크플로

Metrics Board는 인벤토리, 컴퓨트, 품질, 발행, 서비스 및 발견의 5가지 기둥 위에 구축된 얇은 시맨틱 레이어로 작동한다. 지표 정의는 Git 저장소에 YAML 사양으로 저장되며, 프로덕션 코드와 동일한 버전 관리 및 코드 리뷰 프로세스를 적용받는다. 사용자는 가이드된 양식을 통해 지표를 정의하면 시스템이 자동으로 YAML을 생성하고 풀 리퀘스트를 연다.

계산 측면에서 각 지표 정의는 전용 Airflow DAG를 트리거하여 장애를 격리하고 일정 및 리소스를 개별적으로 조정할 수 있게 한다. 플랫폼은 SQL을 SparkSQL 또는 PrestoSQL로 컴파일하고 sqlglot을 사용해 코드를 파싱하고 종속성 작업을 생성한다. 이러한 자동화로 지표 구축 및 관리에 소요되는 시간이 며칠 또는 몇 주에서 1~2시간으로 단축된다.

품질 및 거버넌스

신뢰성은 이중 엔진 검증 시스템을 통해 보장된다:

• 규칙 기반 검사: 일일, 주간 및 사용자 지정 임계값에 대한 명시적 기대치 확인.
• ML 기반 이상 탐지: 정적 규칙으로는 놓칠 수 있는 편차를 식별하기 위해 과거 패턴을 모델링한다.

지표는 Unknown에서 **A+**까지의 인증 등급을 부여받으며, 대시보드는 보존 기간, 쿼리 성능, 문서화 요구 사항을 결정하는 3단계로 분류된다. 이 구조는 데이터 소비자가 사용 중인 데이터의 신뢰성을 쉽게 평가할 수 있도록 한다.

에이전트 지원 및 영향

플랫폼은 MCP 서버를 노출하여 LLM 기반 도구가 지표를 발견하고 정의를 읽으며 추론할 수 있게 한다. 이 통합은 Pinterest의 Analytics Agent를 지원하며, 인증된 지표 정의와 골든 쿼리를 참조하여 자연어 질문에 답변한다.

도입 지표는 상당한 성과를 나타낸다:

• 매월 약 150개의 신규 지표가 생성된다.
• 실험용으로 생성된 지표의 98% 이상이 Metrics Board를 거친다.
• 최근 주요 프로젝트에서 약 2개월 분량의 엔지니어링 공수를 절감했으며, 이는 월간 수천 시간의 절감 효과로 이어진다.