Hugging Face, Parquet CDC 기능 도입

Hugging Face는 Xet 저장소와 연동하여 Parquet 파일의 업로드 및 다운로드 속도를 높이고 저장 비용을 절감할 수 있는 Parquet Content-Defined Chunking (CDC) 기능을 도입했다.

기존 Parquet 형식은 데이터의 미세한 변화에도 바이트 수준의 표현이 완전히 달라질 수 있어, 중복 제거(deduplication) 성능이 저하되는 문제가 있었다. 이를 해결하기 위해 Apache Arrow의 CDC 기능을 활용하여 데이터 변경 시 변경된 청크(chunk)만 전송하도록 최적화했다.

주요 특징 및 사용법:

• PyArrow 및 Pandas에서 use_content_defined_chunking=True 인자를 통해 간편하게 활성화할 수 있다.
• 데이터의 컬럼 추가/삭제, 타입 변경, 행 추가/삭제 등 다양한 변경 사항이 발생해도 효율적인 중복 제거가 가능하다.
• Hugging Face Hub의 Xet 저장소와 결합하여 대규모 데이터 워크플로우의 확장성을 극대화한다.