AI Briefing#parquet
#parquet와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#parquet와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Infino가 S3 오브젝트 스토리지에서 GET 요청을 최소화하는 전문 검색 아키텍처를 공개했다.
Oozie와 Sqoop 기반 1,200여 개 파이프라인을 Airflow와 Spark로 전환해 입수 속도를 최대 70% 단축하고 조회 성능을 66배 향상했다.
PyArrow와 Pandas에 Parquet CDC 기능이 추가되어 Hugging Face Hub의 데이터 전송 및 저장 효율이 개선된다.
서버 로그 Iceberg APPEND 적재 테스트에서 zstd 레벨 9 적용 시 ORC 대비 파일 크기가 51.4% 감소했다.
Hugging Face가 대규모 데이터셋 효율성을 위해 Parquet 파일의 중복 제거 문제를 분석하고 개선 방안을 제시했다.
Hugging Face Hub의 데이터셋을 DuckDB를 통해 SQL로 직접 분석할 수 있는 기능이 추가되었다.