Hugging Face AI 스토리지 버킷

Hugging Face Storage Buckets는 모델, 데이터셋, 체크포인트와 기타 AI 아티팩트를 저장하는 객체 스토리지다. Git 커밋 없이 파일을 즉시 동기화할 수 있으며, 모든 버킷에 CDN이 포함된다.

핵심 기능은 Xet 중복 제거다. 콘텐츠 정의 청킹으로 파일을 바이트 단위 조각으로 나누고 버킷 전체에서 중복 데이터를 제거해, 모델 가중치의 일부만 바뀐 재학습에서는 변경된 데이터만 다시 업로드한다. 예시 환경에서는 2.4TB·1만2,847개 파일을 분석해 62%를 중복 제거하고 912GB만 업로드한다.

데이터셋은 크롤링 데이터, 어노테이션, 합성 데이터 등을 하나의 버킷에 모을 수 있다. 커밋 대기열이나 파일 수 제한 없이 대량 파일을 처리하며, AWS·GCP·Nebius·CoreWeave·Lambda 또는 자체 클러스터 등 원하는 컴퓨팅 환경에서 같은 데이터를 사용할 수 있다.

요금은 사용량 기반으로 책정되며 스토리지 1TB당 월 $8~18 수준이다. 공개 저장소는 기본 월 $12/TB, 비공개 저장소는 월 $18/TB부터 시작하고, 50TB·200TB·500TB 이상 사용 시 최대 33% 할인이 적용된다. Egress와 CDN 사용료는 별도로 부과되지 않으며, 원본·가공 데이터의 중복 제거 과금 혜택은 Enterprise 또는 Enterprise Plus 플랜이 필요하다.