SkyPilot-Hugging Face 연동으로 데이터 전송료 제로 실현
Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot
·2026.07.07 09:00
SkyPilot와 Hugging Face의 협업을 통해 클라우드 간 데이터 전송 비용 없이 GPU 클러스터에서 모델과 데이터셋을 직접 마운트하여 사용할 수 있게 되었습니다.
Hugging Face와 SkyPilot가 협업하여, 데이터가 저장된 위치와 상관없이 GPU가 있는 곳 어디서든 데이터를 비용 없이 불러올 수 있는 기능을 출시했습니다.
기존에는 모델과 데이터셋이 있는 클라우드와 GPU가 있는 클라우드가 다를 경우 **데이터 전송료(Egress fee)**가 발생했으나, 이번 업데이트를 통해 이를 해결했습니다.
주요 특징:
- hf:// 스킴 지원:
hf://URL을 사용하여 Hugging Face Bucket, 모델, 데이터셋 레포지토리를 SkyPilot 작업에 즉시 마운트할 수 있습니다. - 데이터 전송 비용 제로: Hugging Face Storage는 데이터 읽기 시 Egress 비용을 부과하지 않으므로, 어떤 클라우드(CoreWeave, Nebius, GCP 등)에서도 추가 비용 없이 데이터를 불러올 수 있습니다.
- 효율적인 데이터 처리: Xet 기반의 중복 제거 기술을 통해 변경된 부분만 전송하며, hf-mount를 통해 로컬 경로처럼 데이터를 마운트하여 사용할 수 있습니다.
- 유연한 인프라 활용: SkyPilot를 통해 20개 이상의 클라우드, Kubernetes, 온프레미스 환경에서 가용 가능한 GPU를 찾아 즉시 워크로드를 실행할 수 있습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.