Safetensors 보안 검증 및 기본 포맷 전환
🐶Safetensors audited as really safe and becoming the default
·2023.05.23 09:00
Safetensors 라이브러리가 외부 보안 감사를 통해 안전성을 입증하며 모델 저장의 기본 포맷으로 자리 잡고 있다.
Hugging Face, EleutherAI, Stability AI가 공동으로 의뢰한 Trail of Bits의 외부 보안 감사 결과, safetensors에서 임의 코드 실행을 유발할 수 있는 치명적인 보안 결함이 발견되지 않았다.
기존 PyTorch의 pickle 방식은 악성 파일 로드 시 사용자 컴퓨터의 제어권을 탈취할 수 있는 보안 취약점이 있으나, safetensors는 이를 근본적으로 해결했다.
safetensors는 보안성 외에도 다음과 같은 기술적 강점을 제공한다:
- 빠른 로딩: CPU 환경에서 기존 방식 대비 약 100배 빠른 로딩 속도 제공.
- Lazy Loading: 필요한 텐서 부분만 효율적으로 로드하여 대규모 모델(LLM) 추론 효율 극대화.
- 프레임워크 호환성: PyTorch, TensorFlow, JAX, NumPy 등 다양한 프레임워크 지원.
이번 검증을 바탕으로 transformers 라이브러리에서 safetensors가 기본 설치 및 모델 저장 포맷으로 채택될 예정이다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.