AI Briefing#etl
#etl와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#etl와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AWS Glue 6.0이 30% 가격 인하와 Apache Iceberg v3 전체 지원으로 출시되었습니다.
자연어 프롬프트를 사용하여 비정형 문서에서 구조화된 JSON 데이터를 추출하는 오픈소스 플랫폼 Unstract가 공개되었습니다.
올리브영 커머스 팀이 기존 Oracle 프로시저 방식의 한계를 극복하기 위해 AWS Glue를 활용한 Serverless 기반 랭킹 시스템을 구축했다.
광고 로그의 지면별 필터링과 분기를 위해 개발된 커스텀 커넥트로, json 필터링과 샘플링 기능을 지원한다.
올리브영은 기존 IDC 기반 ETL 구조에서 GCP를 활용한 클라우드 기반 데이터 플랫폼으로 확장하며 데이터 생태계를 구축하고 있다.
카카오 광고추천팀이 카프카 커넥트 기반 ETL 플랫폼 '제네시스'의 운영 사례를 공유하고, 파이프라인 관리를 위한 웹 도구 'kafka-connect-web'을 오픈소스로 공개했습니다.
MySQL 데이터 수집부터 타 DB 적재까지 지원하며, 샤드 재분배용 커스텀 핸들러는 현재 검증 단계다.