Hugging Face, 청크 단위 저장 도입

Hugging Face는 현재 30PB 이상의 모델과 데이터셋을 Git LFS로 관리하고 있으나, 파일 단위 버전 관리 방식 때문에 작은 수정에도 전체 파일을 다시 업로드해야 하는 비효율성이 존재합니다.

이를 해결하기 위해 콘텐츠 정의 청킹(Content-Defined Chunking, CDC) 방식을 도입합니다. CDC는 파일을 고정된 크기가 아닌 데이터 내용에 따라 가변적인 크기의 **청크(chunk)**로 분할하여 관리합니다.

이 방식의 주요 장점은 다음과 같습니다:

• 효율적인 업데이트: 파일 수정 시 변경된 청크만 업로드하면 되므로 전송 비용이 절감됩니다.
• 중복 제거: 동일한 내용의 청크는 한 번만 저장하여 저장 공간을 최적화합니다.
• 성능 향상: 벤치마크 결과, 기존 Git LFS 대비 저장 공간 사용량은 약 60% 감소했으며, 업로드 및 다운로드 속도는 약 2~3배 향상되었습니다.