Hugging Face, 대용량 모델 전송 구조 개편

Hugging Face는 모델과 데이터셋의 크기가 급격히 커짐에 따라, 기존 AWS Cloudfront의 50GB 파일 제한 문제를 해결하고 전송 효율을 높이기 위해 업로드 및 다운로드 아키텍처를 재설계한다.

핵심은 **콘텐츠 주소 지정 저장소(CAS, Content-Addressed Store)**를 도입하여 '단순 읽기 및 스마트 쓰기(dumb reads and smart writes)' 철학을 구현하는 것이다.

주요 변경 사항:

• 업로드(Write Path) 최적화: 파일을 단순한 블롭(blob)으로 취급하던 기존 방식과 달리, 파일을 **바이트 단위의 청크(chunk)**로 분석한다. 클라이언트는 CAS 서버의 지시에 따라 새로운 청크만 전송하므로 중복 데이터를 줄이고 속도를 높일 수 있다.
• 다운로드(Read Path) 최적화: CAS 서버가 파일 재구성 정보를 제공하며, 실제 데이터는 기존처럼 S3와 Cloudfront를 통해 빠르게 제공된다.
• 데이터 효율성: 바이트 수준의 관리를 통해 Parquet 파일의 중복 제거 성능을 개선하고, Safetensors와 같은 텐서 파일의 압축 기술을 연구 중이다.

이번 개편을 통해 Llama 3 70B(131GB)와 같이 기존 CDN 제한을 초과하는 대규모 모델도 더욱 빠르고 안정적으로 관리할 수 있게 될 전망이다.