AI Briefing#data-pipeline
#data-pipeline와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#data-pipeline와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
자율주행 경쟁이 모델 성능에서 데이터 재학습 속도로 이동하며, AWS와 NVIDIA가 이를 위한 8단계 파이프라인을 제시했다.
Stripe Data Pipeline의 Postgres 실시간 동기화 기능이 공개 프리뷰로 무료 제공된다.
Cloudflare가 파이프라인 최적화로 백본 트래픽 70GB/s를 절감해 하드웨어 확장을 2.5년 연기했다.
Cloudflare, Logpush에 SQL 필터링 및 마스킹 기능인 Transformers 정식 출시.
Oozie와 Sqoop 기반 1,200여 개 파이프라인을 Airflow와 Spark로 전환해 입수 속도를 최대 70% 단축하고 조회 성능을 66배 향상했다.
여기어때컴퍼니가 사내 지식을 활용하는 Agentic RAG MCP를 구축하기 위해 데이터 파이프라인을 설계했다.
네이버가 실시간 음성 대화 AI의 지연 시간을 최소화하기 위한 데이터 파이프라인 'Sommelier'를 공개했다.
올리브영은 옴니채널 확장 과정에서 발생한 재고 데이터 처리 지연과 비효율을 해결하기 위해 이벤트 기반 아키텍처(EDA)로 파이프라인을 재설계했다.
Pinterest가 데이터 파이프라인의 효율성을 높이기 위해 스키마 변경을 자동으로 처리하는 차세대 DB 인제스션 프레임워크를 구축했다.
Netflix는 코드 배포뿐만 아니라 데이터 파이프라인의 무결성을 검증하기 위해 실시간 트래픽 기반의 '데이터 카나리' 시스템을 구축했다.
Claude가 로컬 환경에서 직접 데이터 파이프라인을 구축할 수 있는 Duckle MCP 서버가 출시되었습니다.
상품·쿠폰·증정·프로모션 혜택 데이터를 Kafka로 묶어 최대 45분 지연을 수초로 줄였다.
50+ AI 에이전트가 4,100개 파일의 암묵지를 59개 컨텍스트 파일로 정리했다.
올리브영은 기존 ODI 기반 배치 시스템의 데이터 지연 문제를 해결하기 위해 OGG와 Kafka를 활용한 하이브리드 CDC 아키텍처를 구축했다.
기존 복잡한 배치 기반 동기화 구조를 Debezium과 Strimzi 기반 Kafka Connect로 대체해 정합성 문제를 해결했다.
AI가 1차 필터링을 담당해 운영자의 심리적 부담을 줄이고 판단 일관성을 높인다.
카카오가 약 300개 CDC 파이프라인의 데이터 신뢰성을 위해 Reader, Translator 등 4단계 모듈화와 디자인 패턴을 적용한 Spark 잡 설계를 공개했습니다.
수백 개 테이블의 대용량 정합성 검사를 위해 MySQL 스캔 모드별 튜닝, Iceberg 유지 관리, 캐싱 및 로컬 모드 최적화 등을 적용한 카카오의 Spark 잡 개발 사례
컬리가 Kafka Connect JDBC 소스 커넥터의 데이터 누락 한계와 timestamp.delay 옵션 활용법을 공유했다.