Hugging Face, 데이터셋 검색 기능 강화

Hugging Face가 Dataset Hub의 데이터셋 탐색 효율성을 높이기 위해 4가지 새로운 검색 기능을 도입했다.

주요 업데이트 내용은 다음과 같다:

• 모달리티(Modality) 검색: 텍스트, 이미지, 오디오, 테이블, 시계열, 3D, 비디오, 지리공간 등 데이터 유형별 필터링 지원.
• 데이터 크기(Size) 검색: 데이터셋의 행(row) 수를 기준으로 검색 가능. 대규모 데이터셋의 경우 첫 5GB를 기반으로 행 수를 정확하게 추정하여 제공.
• 포맷(Format) 검색: Parquet, JSON Lines, WebDataset 등 데이터 저장 형식에 따른 검색 지원.
• 라이브러리(Library) 검색: Pandas, Dask, 🤗 Datasets 등 특정 라이브러리와 호환되는 데이터셋 필터링 지원.

이번 업데이트를 통해 연구자와 엔지니어들은 자신의 워크플로우와 요구 사항에 최적화된 데이터셋을 더욱 쉽고 빠르게 찾을 수 있게 된다.