AI Briefing#data-engineering
#data-engineering와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#data-engineering와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Netflix가 DataJunction 도입으로 지표 온보딩 시간을 수 주에서 몇 분으로 단축했다.
Netflix, Cassandra S3 네이티브 콜드 티어로 디스크 사용량 80%서 7%로 줄이고 p99 500ms 유지했다.
Netflix 엔지니어가 AI 에이전트와 병렬 실험으로 Spark OOM 디버깅을 자동화했다.
Pinterest이 Iceberg 스냅샷 요약을 활용해 다운스트림의 안전한 데이터 소비를 돕는 파티션 최종화 메커니즘을 도입했다.
AWS Glue 6.0이 30% 가격 인하와 Apache Iceberg v3 전체 지원으로 출시되었습니다.
WPP는 Google Cloud와 데이터·플랫폼을 통합해 AI 마케팅 캠페인 배포를 수개월에서 수일로 단축했다.
PR 생성만으로 5분 내 격리된 Airflow 환경을 자동 구축하며, Jupyter와 VS Code for Web을 지원한다.
Spotify가 온라인 서비스의 저지연 데이터 접근을 위해 데이터 레이크를 인덱싱하는 기술을 소개한다.
자연어 명령만으로 웹을 탐색하여 구조화된 데이터셋을 생성하고 자동 갱신하는 AI 에이전트 도구입니다.
fenic은 PySpark 스타일 연산과 LLM 호출을 하나의 쿼리 모델로 통합한 시맨틱 데이터프레임 엔진이다.
Pinterest가 데이터 파이프라인의 효율성을 높이기 위해 스키마 변경을 자동으로 처리하는 차세대 DB 인제스션 프레임워크를 구축했다.
넷플릭스는 데이터 자산 관리의 복잡성을 해결하기 위해 개별 자산 단위가 아닌 프로젝트 단위의 통합 관리 체계인 Data Projects를 도입했다.
Netflix는 기존 Casspactor의 한계를 극복하기 위해 Cassandra에서 Iceberg로의 데이터 이동 방식을 재설계했다.
데이터 에이전트가 데이터 웨어하우스의 메트릭과 비즈니스 지식을 정확히 이해하도록 돕는 컨텍스트 레이어 ktx가 공개되었습니다.
AI 추론 워크로드 최적화를 위해 Redis를 대체할 수 있는 RocksDB 기반의 고성능 계층형 캐시 솔루션입니다.
Hugging Face 출신 팀이 다양한 로보틱스 데이터 포맷을 지원하는 데이터 정제 라이브러리 Refiner를 출시했다.
Spotify는 방대한 데이터셋 속에서 정확한 인사이트를 제공하기 위해 도메인 전문가의 지식을 결합한 컨텍스트 레이어 기반의 AI 데이터 어시스턴트를 구축했다.
Airbnb가 단일 서비스 모델에서 벗어나 다양한 제품군을 지원하기 위해 데이터 아키텍처를 어떻게 재설계했는지 설명한다.
당근은 200개 이상의 글로벌 서비스 DB를 효율적으로 BigQuery로 전송하기 위해 전용 ELT 플랫폼인 DT Platform을 구축했다.
생성형 생체 분자 모델의 확장을 위해 시퀀스 데이터를 늘려도 단백질 접힘의 중복성으로 인해 구조적 다양성이 충분히 확보되지 않는 문제를 다룬다.