Hugging Face, ML 아티팩트용 Storage Buckets 출시

Hugging Face가 체크포인트, 옵티마이저 상태, 데이터 처리 샤드 등 빈번하게 생성되는 중간 ML 아티팩트를 관리하기 위한 Storage Buckets를 도입했다. 기존 Git 기반 저장소와 달리, 버전 관리가 필요 없는 대용량 데이터를 빠르게 쓰고 덮어쓸 수 있는 S3 방식의 객체 스토리지를 제공한다.

주요 특징:

• Xet 기반 중복 제거: chunk 기반 스토리지 백엔드인 Xet을 사용하여, 유사한 내용의 파일(예: 연속된 체크포인트)을 저장할 때 중복된 데이터를 제외하고 전송하므로 대역폭과 저장 비용을 크게 절감한다.
• Pre-warming 기능: 데이터를 클라우드 제공업체(AWS, GCP 등)의 특정 리전으로 미리 가져와, 분산 학습 시 데이터 전송 지연(latency)을 최소화할 수 있다.
• 간편한 관리: hf CLI를 통해 버킷 생성, 데이터 동기화(sync), 목록 확인 등을 명령줄에서 즉시 수행할 수 있으며, Hub 웹페이지에서도 브라우징이 가능하다.

이 기능은 대규모 학습 클러스터나 데이터 파이프라인을 운영하는 엔지니어들이 모델 학습 과정에서 발생하는 방대한 중간 결과물을 효율적으로 관리하는 데 최적화되어 있다.