Hugging Face, 데이터 전송 속도 2~3배 향상

Hugging Face는 대규모 모델과 데이터셋의 업로드 및 다운로드 성능을 최적화하기 위해 Content-defined chunking (CDC) 기술을 기반으로 한 새로운 데이터 관리 방식을 도입했다.

기존의 파일 중심 방식은 대용량 리포지토리 관리 시 수억 개의 청크(chunk)를 개별적으로 처리해야 하므로, 네트워크 요청 폭증과 인프라 비용 상승이라는 문제를 야기했다. 이를 해결하기 위해 Hugging Face는 Aggregation(집계) 전략을 채택했다.

• Blocks: 중복 제거된 데이터를 최대 64MB 크기의 블록으로 묶어 저장한다. 이를 통해 콘텐츠 주소 지정 저장소(CAS)의 엔트리 수를 약 1,000배 감소시킨다.
• Shards: 파일과 청크 간의 매핑을 관리하여 변경된 부분만 식별한다. 이미 존재하는 청크는 전송을 건너뛰어 불필요한 네트워크 트래픽을 줄인다.

이러한 최적화를 통해 AI 빌더들은 일부 사례에서 2~3배 빠른 데이터 전송 속도를 경험할 수 있다. 관련 핵심 기술인 xet-core와 hf_xet는 오픈소스로 공개되었다.