AI Briefing#data-engineering
#data-engineering와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#data-engineering와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
올리브영 데이터 엔지니어가 Google Cloud Next '24 현장에서 경험한 AI 에이전트와 신규 하드웨어 소식을 공유한다.
뱅크샐러드가 분석 데이터를 프로덕션 API로 변환하는 플랫폼 'dataserving'을 개발해 데이터 제품의 개발 효율성을 높였다.
뱅크샐러드가 데이터 분석가가 직접 파이프라인을 개발·운영할 수 있는 내부 도구 'datapipe'를 도입해 엔지니어 병목을 해소했다.
카카오 하둡엔지니어링파트 엔지니어가 42 Seoul 카뎃을 대상으로 데이터 직무의 역할과 필요 역량을 공유하는 스몰톡을 개최했다.
올리브영은 기존 IDC 기반 ETL 구조에서 GCP를 활용한 클라우드 기반 데이터 플랫폼으로 확장하며 데이터 생태계를 구축하고 있다.
카카오 크루의 데이터 수집부터 ML/AI 활용까지 전 과정을 지원하는 내부 SaaS 플랫폼을 운영 중이다.
분석가, 엔지니어 등 직군 경계 없이 유저 프로파일링부터 검색 추천 모듈 제작까지 프로덕트화한다.
공용 하둡 클러스터 140개와 9,100개 노드에서 매일 19만 건의 분석 작업을 수행한다.
AQE 활성화 시 Shuffle 파티션 수가 10000에서 118로 줄고 Peak Memory가 634.8GB에서 332.0GB로 감소했다.
실시간 분류, Airflow 2.0, PostgreSQL 등 6개 기술 세션이 Day2에서 발표된다.
카카오 데이터PE셀이 Spark Shuffle Partition 최적화 실험을 통해 쿼리 개선과 Partition 수 조정으로 수행시간을 8.4시간에서 3.5시간으로 단축한 사례를 공개했다.
뱅크샐러드가 DataHub를 활용해 데이터 검색 및 이해 과정을 간소화하는 Data Discovery Platform을 구축했다.
PySpark와 S3를 활용하는 데이터 분석 라이브러리의 효율적인 테스트 환경 구축 방법을 다룬다.
데브시스터즈가 PySpark SQL 사용 편의성을 높이기 위해 DevPlay Analytics 라이브러리를 개발하게 된 배경과 문제점을 소개한다.
데브시스터즈 데이터플랫폼셀은 엔지니어링을 통해 데이터가 원활하게 흐르고 구성원이 데이터 기반으로 의사결정할 수 있는 환경을 구축한다.