AI Briefing#airflow
#airflow와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#airflow와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Pinterest가 지표 생성 시간을 1~2시간으로 단축하고 실험 지표의 98% 이상을 지원하는 Metrics Board를 출시했다.
Oozie와 Sqoop 기반 1,200여 개 파이프라인을 Airflow와 Spark로 전환해 입수 속도를 최대 70% 단축하고 조회 성능을 66배 향상했다.
PR 생성만으로 5분 내 격리된 Airflow 환경을 자동 구축하며, Jupyter와 VS Code for Web을 지원한다.
Apache Flink와 RocksDB 튜닝으로 광고 노출 집계를 1분~7일까지 실시간화했다.
S3+GCS 배치 파이프라인을 MSK·Protobuf 기반 준실시간 구조로 바꿨다.
카카오뱅크는 클라우드 네이티브 환경에서 금융 규제를 준수하며 효율적인 펀드 배치를 수행하기 위해 Airflow를 도입했다.
컬리가 Airflow 운영 환경을 Kubernetes로 전환해 비용을 50% 절감하고 GitSync 및 OOM 문제를 해결했다.
태깅 로직과 저장소를 분리하고 write buffer를 넣어 업데이트를 67% 줄였다.
뱅크샐러드가 데이터 분석가가 직접 파이프라인을 개발·운영할 수 있는 내부 도구 'datapipe'를 도입해 엔지니어 병목을 해소했다.
뱅크샐러드가 Spark 컴퓨팅 환경을 EMR에서 Kubernetes로 전환해 운영 비용을 약 45% 절감했다.
쿠팡이 데이터 구축과 서비스 개발을 자동화하는 low-code, no-code 워크플로우를 만들었다.
올리브영은 기존 IDC 기반 ETL 구조에서 GCP를 활용한 클라우드 기반 데이터 플랫폼으로 확장하며 데이터 생태계를 구축하고 있다.
분석가, 엔지니어 등 직군 경계 없이 유저 프로파일링부터 검색 추천 모듈 제작까지 프로덕트화한다.
실시간 분류, Airflow 2.0, PostgreSQL 등 6개 기술 세션이 Day2에서 발표된다.
뱅크샐러드가 DataHub를 활용해 데이터 검색 및 이해 과정을 간소화하는 Data Discovery Platform을 구축했다.