AI Briefing#dataset
#dataset와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#dataset와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Hugging Face Hub가 대규모 데이터셋 호스팅, 데이터 뷰어, 서드파티 라이브러리 지원 등 데이터 공유를 위한 다양한 기능을 제공한다.
HuggingFace가 기존 대비 240배 규모인 240만 개의 이미지와 950만 개의 Q/A 쌍을 포함한 DocVQA 데이터셋 Docmatix를 공개했다.
HuggingFace가 고품질 데이터로 학습된 135M, 360M, 1.7B 규모의 소형 언어 모델 SmolLM 시리즈를 공개했다.
Hugging Face가 협업 프로젝트 'Data Is Better Together'의 데이터셋 구축 성과와 향후 계획을 공개했다.
멀티모달 모델의 텍스트-이미지 공동 추론 능력을 평가하는 새로운 데이터셋 및 리더보드 'ConTextual'이 공개되었다.
Hugging Face와 Argilla가 커뮤니티 협력을 통한 고품질 데이터셋 구축을 지원하는 프로그램을 공개했다.
Renumics Spotlight를 통해 Hugging Face 데이터셋을 한 줄의 코드로 인터랙티브하게 시각화하고 분석할 수 있다.
Hugging Face Hub의 데이터셋을 DuckDB를 통해 SQL로 직접 분석할 수 있는 기능이 추가되었다.
Databricks와 Hugging Face가 Spark 데이터프레임을 Hugging Face 데이터셋으로 직접 변환하는 기능을 출시했다.
Hugging Face가 모델과 데이터셋의 영구적인 인용과 재현성을 위해 DOI 생성 기능을 도입했다.
Hugging Face Datasets 라이브러리에 오디오 및 이미지 데이터 처리를 위한 새로운 문서와 기능이 추가되었습니다.
14만8천여 개 플레이리스트와 64만9천여 곡의 메타데이터 및 멜 스펙트로그램 포함
기존 웹 크롤링 데이터의 편향과 저작권 문제를 해결하기 위해 크라우드 소싱으로 생성된 한국어 혐오 발화 평가 데이터셋 APEACH를 공개했다.
데이터셋의 품질을 측정하고 비교할 수 있는 오픈소스 도구인 Data Measurements Tool이 공개되었습니다.