Hugging Face, 청크 단위 저장 도입
From Files to Chunks: Improving HF Storage Efficiency
·2024.11.20 09:00
Hugging Face가 Git LFS의 한계를 극복하기 위해 콘텐츠 정의 청킹(CDC) 기술을 도입하여 저장 및 전송 효율을 높인다.
Hugging Face는 현재 30PB 이상의 모델과 데이터셋을 Git LFS로 관리하고 있으나, 파일 단위 버전 관리 방식 때문에 작은 수정에도 전체 파일을 다시 업로드해야 하는 비효율성이 존재합니다.
이를 해결하기 위해 콘텐츠 정의 청킹(Content-Defined Chunking, CDC) 방식을 도입합니다. CDC는 파일을 고정된 크기가 아닌 데이터 내용에 따라 가변적인 크기의 **청크(chunk)**로 분할하여 관리합니다.
이 방식의 주요 장점은 다음과 같습니다:
- 효율적인 업데이트: 파일 수정 시 변경된 청크만 업로드하면 되므로 전송 비용이 절감됩니다.
- 중복 제거: 동일한 내용의 청크는 한 번만 저장하여 저장 공간을 최적화합니다.
- 성능 향상: 벤치마크 결과, 기존 Git LFS 대비 저장 공간 사용량은 약 60% 감소했으며, 업로드 및 다운로드 속도는 약 2~3배 향상되었습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.