Hugging Face, DuckDB 데이터셋 분석 지원

Hugging Face는 사용자가 Hub에 저장된 50,000개 이상의 데이터셋을 DuckDB를 사용하여 SQL로 직접 분석할 수 있는 기능을 공개했다.

이 기능은 Dataset Viewer가 모든 공개 데이터셋을 Parquet 파일로 자동 변환하여 저장하는 방식을 활용한다. 사용자는 DuckDB의 httpfs 확장을 통해 원격 Parquet 파일을 별도의 다운로드 과정 없이 즉시 쿼리할 수 있다.

주요 특징:

• 고성능 분석: DuckDB의 엔진을 활용해 대규모 데이터셋에 대한 복잡한 SQL 쿼리를 빠르게 실행한다.
• 효율적 접근: 데이터를 로컬로 모두 내려받지 않고도 HTTP를 통해 필요한 데이터만 효율적으로 읽어온다.
• 샤딩 지원: 대규모 데이터셋이 여러 개의 Parquet 파일로 나뉘어 있어도 통합 쿼리가 가능하다.

이를 통해 ML 엔지니어는 모델 학습 전 데이터의 품질, 편향성 등을 SQL만으로 신속하게 검증할 수 있다.