Pinterest의 차세대 DB 인제스션(Ingestion) 기술

Pinterest는 기존의 배치(Batch) 중심 인제스션 방식이 가진 한계인 높은 데이터 지연(24시간 이상), 불필요한 리소스 낭비, 데이터 규정 준수(Compliance)의 어려움을 해결하기 위해 새로운 프레임워크를 도입했다.

새로운 시스템은 **CDC(Change Data Capture)**를 핵심으로 하며, Debezium/TiCDC, Kafka, Flink, Spark, Iceberg를 활용해 구축되었다. 이를 통해 데이터 업데이트 주기를 수 시간에서 수 분 단위로 단축했으며, 변경된 레코드만 처리하여 인프라 비용을 크게 절감했다.

아키텍처는 크게 세 가지 계층으로 구성된다.

• CDC Layer: 데이터베이스의 변경 사항을 1초 미만의 지연 시간으로 Kafka에 기록한다.
• Streaming Layer: Flink를 사용하여 CDC 이벤트를 실시간으로 처리하고 S3의 CDC Iceberg 테이블에 저장한다.
• Batch Layer: Spark를 이용해 주기적으로 CDC 테이블의 변경 사항을 Base Iceberg 테이블에 Upsert한다.

이 프레임워크는 MySQL, TiDB, KVStore 등 다양한 데이터베이스를 지원하며, At-least-once 보장을 통해 데이터 손실을 방지하고 페타바이트 규모의 데이터를 처리할 수 있는 확장성을 갖췄다.