AI Briefing#big-data
#big-data와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#big-data와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LY Corporation이 서로 다른 아키텍처를 가진 1EB 규모의 HDFS 클러스터를 통합하며 겪은 운영 및 설계 과제를 다룬다.
Google이 머신러닝 대규모 데이터 처리를 위해 확장성과 효율성을 높인 Dataflow의 혁신 기술을 공개했다.
Piqama는 Pinterest 전반의 quota lifecycle과 right-sizing을 하나의 플랫폼으로 묶는다.
카카오페이가 실시간 OLAP 솔루션인 Apache Pinot을 운영하며 얻은 클러스터 구성 및 장애 대응 노하우를 공유한다.
SK플래닛이 오픈소스 Trino를 전사 데이터 분석 엔진으로 도입해 데이터 입수 지연을 해소하고 실시간 분석 환경을 구축했다.
카카오페이가 데이터 분산 저장과 Palsonic 도입을 통해 마이데이터 플랫폼의 대용량 데이터 처리 문제를 해결했다.
뱅크샐러드가 S3 데이터 조회 시 Athena 비용 급증을 Bucketing과 Partition 최적화로 해결해 비용을 약 700배 줄였다.
3명이 6개월간 개발해 4000개 Flow와 40PB 데이터를 성공적으로 이관했다.
외부 솔루션 비용과 기능 제약 문제를 해결하기 위해 5개 구성 요소로 자체 개발·운영 중이다.
공용 하둡 클러스터 140개와 9,100개 노드에서 매일 19만 건의 분석 작업을 수행한다.
AQE 활성화 시 Shuffle 파티션 수가 10000에서 118로 줄고 Peak Memory가 634.8GB에서 332.0GB로 감소했다.
카카오 데이터PE셀이 Spark Shuffle Partition 최적화 실험을 통해 쿼리 개선과 Partition 수 조정으로 수행시간을 8.4시간에서 3.5시간으로 단축한 사례를 공개했다.
카카오가 HBase 클러스터의 메트릭 모니터링, 리전 관리, 스냅샷 관리를 자동화하는 오픈소스 도구 'hbase-tools'를 공개했다.
카카오가 HBase 클러스터의 리전 분포와 요청 현황을 시각화하는 오픈소스 도구 'HBase Region Inspector'를 공개했다.