Hugging Face, XetHub 인수

Hugging Face가 대규모 AI 데이터셋과 모델의 효율적인 관리를 위해 XetHub를 인수했다고 발표했다. XetHub는 Git이 테라바이트(TB) 단위의 대규모 저장소를 지원할 수 있도록 하는 기술을 보유한 기업으로, Apple의 ML 인프라를 구축했던 팀이 설립했다.

이번 인수를 통해 Hugging Face는 기존 Git LFS를 대체할 자체적인 최적화 스토리지 및 버전 관리 백엔드를 구축할 계획이다. 이를 통해 다음과 같은 기술적 이점을 제공한다:

• 청크(Chunk) 단위 업로드 및 중복 제거: 10GB 크기의 파일에서 일부 데이터만 수정할 경우, 전체를 다시 업로드하는 대신 변경된 부분만 업로드하여 효율성을 극대화한다.
• 대규모 모델 최적화: GGUF 모델의 메타데이터 수정 시에도 수 KB 단위의 작은 청크만 업데이트하면 된다.
• 확장성 강화: 향후 등장할 조 단위(Trillion) 파라미터 모델과 거대 데이터셋을 안정적으로 수용할 수 있는 인프라를 구축한다.

현재 Hugging Face Hub에는 약 12PB 규모의 데이터가 저장되어 있으며, 이번 기술 통합은 대규모 모델 및 데이터셋을 다루는 커뮤니티와 기업 사용자들에게 더 나은 협업 환경을 제공할 전망이다.