Pinterest, StarRocks와 FlinkSQL로 Guardian V2 재구축해 확장성 및 컴플라이언스 강화
·2026.11.17 01:01
핵심 내용
Pinterest가 Guardian V2로 데이터 복잡도를 O(20K)에서 O(K)로 낮췄다.
자세히 보기
- Pinterest는 기존 단일 구조 시스템의 확장성, 신뢰성, 컴플라이언스 한계를 해결하기 위해 실시간 악용 방지 플랫폼 Guardian을 모듈형 V2 아키텍처로 재구축함
- 데이터 평면의 스트림 분할 및 가지치기 적용으로 인덱싱된 데이터셋의 유효 컬럼 규모를 O(20K)에서 O(K)로 축소하여 저장 및 처리 비효율성 개선함
- StarRocks 기반 실시간 분석 재구축으로 Bloom filter 인덱스를 활용해 고선별도 피처 탐색 쿼리의 서브초 단위 지연 시간 달성함
- 비동기 액션 처리 및 과거 데이터 재생을 FlinkSQL 실행 모델로 통합하고, Iceberg 기반 데이터셋을 활용해 백필 및 검증용 최대 30일간의 과거 데이터 지원함
- 얇은 변환 레이어를 통해 통합된 GSQL V2 인터페이스를 분석용 StarRocks SQL과 연속 처리용 FlinkSQL로 매핑하여 전문가의 빠른 조사 및 액션 워크플로우 유지함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
관련 추천
PPinterest, 스트림 기반 DB 인제스션에 파티션 최종화 메커니즘 도입PPiqama: Pinterest의 쿼터 관리 생태계
구축 사례: 흩어진 운영 데이터를 하나로 통합한 kt cloud 운영 데이터 플랫폼 Deck 구축기
AWS 주간 정리: Bedrock의 GPT 모델 가격 인하, Prometheus 메트릭용 CloudWatch 관리형 컬렉터 등 (2026년 8월 3일)AAirbnb의 identity graph, 통합 지식 그래프 인프라로 확장
같은 질문에 두 번 답하지 말자: Netflix 규모 Druid를 위한 구간 인지 캐싱