AI Briefing#spark
#spark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#spark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Pensive AI가 실패를 100% 커버하며 수동 로그 디버깅을 321% 줄였다
Oozie와 Sqoop 기반 1,200여 개 파이프라인을 Airflow와 Spark로 전환해 입수 속도를 최대 70% 단축하고 조회 성능을 66배 향상했다.
Pinterest가 데이터 지연을 줄이고 비용을 절감하기 위해 CDC 기반의 통합 DB 인제스션 프레임워크를 구축했다.
Dropbox는 Feast와 Go, Dynovault로 sub-100ms 랭킹용 feature store를 만들었다.
카카오가 약 300개 CDC 파이프라인의 데이터 신뢰성을 위해 Reader, Translator 등 4단계 모듈화와 디자인 패턴을 적용한 Spark 잡 설계를 공개했습니다.
수백 개 테이블의 대용량 정합성 검사를 위해 MySQL 스캔 모드별 튜닝, Iceberg 유지 관리, 캐싱 및 로컬 모드 최적화 등을 적용한 카카오의 Spark 잡 개발 사례
뱅크샐러드가 S3 데이터 조회 시 Athena 비용 급증을 Bucketing과 Partition 최적화로 해결해 비용을 약 700배 줄였다.
뱅크샐러드가 Spark 컴퓨팅 환경을 EMR에서 Kubernetes로 전환해 운영 비용을 약 45% 절감했다.
올리브영은 기존 IDC 기반 ETL 구조에서 GCP를 활용한 클라우드 기반 데이터 플랫폼으로 확장하며 데이터 생태계를 구축하고 있다.
분석가, 엔지니어 등 직군 경계 없이 유저 프로파일링부터 검색 추천 모듈 제작까지 프로덕트화한다.
AQE 활성화 시 Shuffle 파티션 수가 10000에서 118로 줄고 Peak Memory가 634.8GB에서 332.0GB로 감소했다.
카카오 데이터PE셀이 Spark Shuffle Partition 최적화 실험을 통해 쿼리 개선과 Partition 수 조정으로 수행시간을 8.4시간에서 3.5시간으로 단축한 사례를 공개했다.
데브시스터즈 데이터플랫폼셀은 엔지니어링을 통해 데이터가 원활하게 흐르고 구성원이 데이터 기반으로 의사결정할 수 있는 환경을 구축한다.