Hugging Face, 저장소 백엔드 Xet 전환

Hugging Face가 Hub의 저장소 시스템을 기존 Git LFS에서 대규모 AI 워크로드에 최적화된 Xet으로 전환하고 있다. 현재 50만 개 이상의 저장소(약 20PB 규모)가 이미 Xet으로 마이그레이션되었으며, 100만 명 이상의 사용자가 이를 이용 중이다.

이번 마이그레이션은 서비스 중단 없는 하위 호환성 확보에 중점을 두었다.

• Git LFS Bridge: 기존 클라이언트를 사용하는 사용자가 별도의 업데이트 없이도 Xet 기반 저장소에 접근할 수 있도록 지원한다.
• 백그라운드 마이그레이션: 서비스 중단 없이 24시간 내내 데이터를 이동시키며, 사용자의 업로드/다운로드 작업에 영향을 주지 않는다.
• Xet 전용 클라이언트: hf-xet이나 huggingface_hub 최신 버전을 사용하면 파일을 청크(chunk) 단위로 나누어 전송함으로써 효율성을 극대화할 수 있다.

Xet은 **Content Addressed Store (CAS)**와 Rust 기반 클라이언트를 기반으로 구축되어, AI 모델과 데이터셋의 급격한 규모 확장에 대응할 수 있는 확장성을 제공한다.