Hugging Face, Xet 기반 스토리지 도입

Hugging Face가 기존 LFS(Large File Storage)를 대체할 Xet 스토리지를 도입하고, 일부 모델 및 데이터셋 저장소를 성공적으로 마이그레이션했다.

Xet의 핵심 기술: 콘텐츠 정의 청킹(CDC) 기존 LFS는 파일 단위로 중복을 제거하기 때문에, 대용량 파일 내에서 아주 작은 부분만 수정되어도 파일 전체를 다시 업로드해야 하는 비효율이 있었다. 반면 Xet은 데이터를 약 **64KB 단위의 청크(Chunk)**로 나누어 바이트 레벨에서 중복을 제거한다.

주요 이점 및 성능 개선

• 효율적인 업데이트: Parquet 파일에 행을 추가하거나 GGUF 모델의 메타데이터를 수정할 경우, 변경된 청크만 전송하면 된다.
• 전송 속도 혁신: 예를 들어 5GB 크기의 SQLite 데이터베이스에 1MB를 추가할 때, LFS는 5GB 전체를 다시 업로드해야 하지만 Xet은 변경된 부분만 전송하여 업로드 시간을 획기적으로 단축한다.

현재 Hugging Face는 전체 다운로드 트래픽의 약 **6%**를 Xet 인프라로 전환하여 실전 성능과 다양한 라이브러리 및 클라우드 환경에서의 통합을 검증하고 있다.