AI Briefing#cdc
#cdc와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#cdc와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
하루 10억 건 이상 메시지를 처리해 전시 화면에 최적화된 상품 정보를 제공한다.
Rust 재작성과 CDC 기반 캐싱으로 전 세계 읽기 지연을 12배 줄였다.
Google AI 모델이 2025-26 시즌 CDC FluSight 독감 예측 대회에서 1위를 차지했다.
Pinterest이 Iceberg 스냅샷 요약을 활용해 다운스트림의 안전한 데이터 소비를 돕는 파티션 최종화 메커니즘을 도입했다.
올리브영이 저트래픽 SMS 시스템에 CDC와 Kafka를 도입한 과도기 아키텍처의 필요성과 설계 철학을 공유했다.
올리브영은 옴니채널 확장 과정에서 발생한 재고 데이터 처리 지연과 비효율을 해결하기 위해 이벤트 기반 아키텍처(EDA)로 파이프라인을 재설계했다.
Pinterest가 데이터 지연을 줄이고 비용을 절감하기 위해 CDC 기반의 통합 DB 인제스션 프레임워크를 구축했다.
올리브영은 기존 ODI 기반 배치 시스템의 데이터 지연 문제를 해결하기 위해 OGG와 Kafka를 활용한 하이브리드 CDC 아키텍처를 구축했다.
올리브영이 DB 의존성을 줄이고 실시간 재고 반영을 위해 Kafka Streams 기반의 EDA 아키텍처를 도입했다.
기존 복잡한 배치 기반 동기화 구조를 Debezium과 Strimzi 기반 Kafka Connect로 대체해 정합성 문제를 해결했다.
PostgreSQL 데이터를 Elasticsearch로 전송하는 Kafka Connect 파이프라인의 트러블슈팅 사례를 다룬다.
카카오가 약 300개 CDC 파이프라인의 데이터 신뢰성을 위해 Reader, Translator 등 4단계 모듈화와 디자인 패턴을 적용한 Spark 잡 설계를 공개했습니다.
수백 개 테이블의 대용량 정합성 검사를 위해 MySQL 스캔 모드별 튜닝, Iceberg 유지 관리, 캐싱 및 로컬 모드 최적화 등을 적용한 카카오의 Spark 잡 개발 사례
PyArrow와 Pandas에 Parquet CDC 기능이 추가되어 Hugging Face Hub의 데이터 전송 및 저장 효율이 개선된다.
쿠폰·상품 변경을 실시간 반영해 적용 가능 상품을 Elasticsearch에 인덱싱했다.
컬리가 Kafka Connect JDBC 소스 커넥터의 데이터 누락 한계와 timestamp.delay 옵션 활용법을 공유했다.
Hugging Face가 Git LFS의 한계를 극복하기 위해 콘텐츠 정의 청킹(CDC) 기술을 도입하여 저장 및 전송 효율을 높인다.
Debezium MSK Connect 운영 중 장애 발생 시 Offset 활용 및 신규 Connector 생성을 통한 데이터 정합성 유지 방법을 공유한다.
MongoDB 자동 업그레이드, 카프카 Kraft 운영, 대용량 데이터 동기화 등 9개 세션 진행
Flink CDC 2.4.1 기반 MySQL 연동 시 단계별 카프카 토픽 분리와 DDL 보안 대응 로직을 적용했다.
카카오가 Flink CDC를 활용해 DB 부하를 줄이고 실시간 데이터 일관성을 확보한 프로덕션 구현 사례를 공개했다.
상품스쿼드가 MSA 전환 과정에서 데이터 동기화를 위해 Debezium과 AWS MSK Connect를 도입한 사례를 소개한다.