AI Briefing#data-pipeline
#data-pipeline와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#data-pipeline와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
카카오페이 정보플랫폼팀이 데이터 조합 및 파이프라인 처리를 위해 Spring Cloud Stream을 도입한 사례와 이점을 공유한다.
카카오뱅크는 클라우드 네이티브 환경에서 금융 규제를 준수하며 효율적인 펀드 배치를 수행하기 위해 Airflow를 도입했다.
SK플래닛이 기존 배치 처리의 지연 문제를 해결하기 위해 Kafka와 Spark Streaming을 결합한 실시간 데이터 파이프라인 서비스 'Router'를 개발했다.
Flink CDC 2.4.1 기반 MySQL 연동 시 단계별 카프카 토픽 분리와 DDL 보안 대응 로직을 적용했다.
상품스쿼드가 MSA 전환 과정에서 데이터 동기화를 위해 Debezium과 AWS MSK Connect를 도입한 사례를 소개한다.
올리브영 커머스 팀이 기존 Oracle 프로시저 방식의 한계를 극복하기 위해 AWS Glue를 활용한 Serverless 기반 랭킹 시스템을 구축했다.
뱅크샐러드가 분석 데이터를 프로덕션 API로 변환하는 플랫폼 'dataserving'을 개발해 데이터 제품의 개발 효율성을 높였다.
뱅크샐러드가 데이터 분석가가 직접 파이프라인을 개발·운영할 수 있는 내부 도구 'datapipe'를 도입해 엔지니어 병목을 해소했다.
컬리가 BigQuery 도입을 통해 데이터 로딩 시간을 30분에서 13초로 단축하고 비용 효율성을 개선했다.
컬리가 BigQuery 도입으로 기존 데이터 웨어하우스의 지연 시간과 스토리지 문제를 해결했다.
광고 로그의 지면별 필터링과 분기를 위해 개발된 커스텀 커넥트로, json 필터링과 샘플링 기능을 지원한다.
컬리 개발팀이 복잡한 SQL 기반의 Legacy 주문 모니터링 시스템을 Kafka와 ELK 스택으로 전환해 조회 속도를 1초 내외로 개선했다.