표준 포맷 격상
Safetensors is Joining the PyTorch Foundation
핵심 내용
Safetensors가 PyTorch Foundation에 합류하며 PyTorch 코어 통합과 새 로드맵을 예고했다.
자세히 보기
Safetensors가 PyTorch Foundation 산하 프로젝트로 편입된다. 이제 트레이드마크, 저장소, 거버넌스가 Linux Foundation 아래로 들어가며, Hugging Face의 핵심 유지보수자 Luc와 Daniel은 기술 운영을 계속 맡는다.
원래 Safetensors는 모델 가중치를 저장·공유할 때 pickle의 임의 코드 실행 위험을 피하려고 만든 포맷이다. JSON 헤더(최대 100MB) 로 메타데이터를 설명하고, 뒤에 raw tensor data를 붙이는 단순한 구조를 택했고, zero-copy loading과 lazy loading을 제공한다.
지금은 Hugging Face Hub를 포함한 생태계 전반의 기본 배포 포맷이 됐고, 수만 개의 모델에 쓰이고 있다. 이번 합류로 프로젝트는 특정 회사가 아니라, 이를 의존하는 커뮤니티 전체의 자산이라는 점을 제도적으로 확정했다.
사용자 입장에서는 변경 사항이 없다. 포맷과 API, Hub 연동은 그대로이며 breaking change도 없다.
앞으로는 다음이 핵심이다.
- PyTorch core 안에서 torch 모델 직렬화 시스템으로 쓰이도록 협업
- CUDA / ROCm 등 가속기로 직접 로드하는 device-aware loading/saving
- Tensor Parallel / Pipeline Parallel 환경에서 각 rank·stage가 필요한 가중치만 읽는 API
- FP8, GPTQ, AWQ 같은 블록 양자화, sub-byte integer 타입 지원 정리
즉, Safetensors는 이미 널리 쓰이는 안전한 모델 포맷에서 한 단계 더 나아가, PyTorch와 결합된 표준 직렬화 레이어로 커질 가능성을 열었다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.