AI Briefing#apache-spark
#apache-spark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#apache-spark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Netflix 엔지니어가 AI 에이전트와 병렬 실험으로 Spark OOM 디버깅을 자동화했다.
AWS Glue 6.0이 30% 가격 인하와 Apache Iceberg v3 전체 지원으로 출시되었습니다.
WPP는 Google Cloud와 데이터·플랫폼을 통합해 AI 마케팅 캠페인 배포를 수개월에서 수일로 단축했다.
토스증권은 Kubernetes 환경에서 Spark Connect를 안정적인 서비스로 운영하기 위한 기술적 과제와 해결 방안을 공유한다.
Google Cloud가 성능을 극대화한 Lightning Engine과 리소스 가용성을 높인 Flexible VM 등 Managed Spark 클러스터의 신기능을 공개했다.
스냅이 NVIDIA cuDF를 도입해 Apache Spark 기반 A/B 테스트의 데이터 처리 속도를 4배 높이고 비용을 76% 절감했다.
Pinterest는 Auto Memory Retries로 Spark OOM 실패를 96% 줄였다.
Databricks와 Hugging Face가 Spark 데이터프레임을 Hugging Face 데이터셋으로 직접 변환하는 기능을 출시했다.
AQE 활성화 시 Shuffle 파티션 수가 10000에서 118로 줄고 Peak Memory가 634.8GB에서 332.0GB로 감소했다.
카카오 데이터PE셀이 Spark Shuffle Partition 최적화 실험을 통해 쿼리 개선과 Partition 수 조정으로 수행시간을 8.4시간에서 3.5시간으로 단축한 사례를 공개했다.
데브시스터즈가 PySpark SQL 사용 편의성을 높이기 위해 DevPlay Analytics 라이브러리를 개발하게 된 배경과 문제점을 소개한다.
카카오가 실시간 추천 시스템 '루빅스'의 아키텍처와 운영 기술을 공개하며, 99.998% 가용성과 피크타임 20만 QPS 처리 능력을 소개했다.