Hugging Face, 데이터셋 SQL 콘솔 출시
Introducing the SQL Console on Datasets
·2024.09.17 09:00
Hugging Face가 브라우저에서 직접 데이터셋을 쿼리할 수 있는 SQL 콘솔 기능을 출시했다.
Hugging Face Hub에서 데이터셋을 직접 쿼리, 필터링, 탐색할 수 있는 SQL Console 기능이 도입되었다.
DuckDB WASM을 엔진으로 사용하여 모든 작업이 브라우저 내에서 100% 로컬로 처리된다. 따라서 별도의 서버나 백엔드 의존성 없이도 강력한 데이터 조작이 가능하다.
주요 기능은 다음과 같다:
- DuckDB 문법 지원: 정규식, 리스트, JSON, 임베딩 등 다양한 내장 함수를 지원한다.
- 결과 내보내기: 쿼리 결과를 Parquet 파일로 저장할 수 있다.
- 공유 기능: 공개 데이터셋에 대한 쿼리 결과를 링크 하나로 공유할 수 있다.
데이터셋은 주로 Parquet 형식을 사용하여 로드되며, 다른 형식의 경우 처음 5GB까지 자동으로 변환된다. 브라우저 메모리 제한(약 3GB)이 존재하지만, 수천만 행 규모의 데이터셋에서도 빠른 필터링 성능을 제공한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.