Hugging Face Hub의 모델을 관리형 인프라에 쉽고 안전하게 배포할 수 있는 Inference Endpoints 사용법을 소개한다.
Hugging Face Diffusers 라이브러리가 Flax를 지원하여 TPU 환경에서 Stable Diffusion의 빠른 추론이 가능해졌다.
HuggingFace가 BLOOM 모델의 추론 서버를 최적화하여 지연 시간을 5배, 처리량을 50배 개선한 기술적 과정을 설명한다.
Hugging Face가 모델과 데이터셋의 영구적인 인용과 재현성을 위해 DOI 생성 기능을 도입했다.
rinna가 일본어 프롬프트와 일본 문화를 반영하는 'Japanese Stable Diffusion'을 공개했다.
PyTorch의 meta device를 활용해 메모리 제약을 극복하고 대규모 언어 모델을 효율적으로 로드하는 방법을 설명한다.
DeepSpeed와 Accelerate를 활용해 176B 파라미터 BLOOM 모델의 추론 성능을 극대화하는 방법과 벤치마크를 비교한다.
Hugging Face의 Diffusers 라이브러리가 Image-to-Image, Textual Inversion 등 핵심 기능을 추가한 0.3 버전을 출시했습니다.
기존 오픈소스 라이선스의 한계를 보완하여 AI 모델의 책임 있는 사용을 규정하는 OpenRAIL 라이선스를 제안한다.
대규모 언어 모델의 메모리 사용량을 2배 줄이면서 성능을 유지하는 8비트 양자화 기술과 Hugging Face 라이브러리 통합을 설명한다.
Hugging Face가 scikit-learn 모델의 허브 호스팅과 문서화를 지원하는 Skops 라이브러리를 출시했다.
TensorFlow Serving과 Kubernetes를 활용해 Vision Transformer 모델을 확장 가능한 환경으로 배포하는 방법을 다룬다.
Hugging Face가 기업용 보안 및 협업 도구를 통합한 Enterprise Hub를 출시했다.
Nyström 방법을 활용해 Transformer의 self-attention 복잡도를 $O(n^2)$에서 $O(n)$으로 줄이는 Nyströmformer를 소개한다.
Hugging Face Datasets 라이브러리에 오디오 및 이미지 데이터 처리를 위한 새로운 문서와 기능이 추가되었습니다.
Hugging Face transformers에서 TensorFlow와 XLA를 결합해 텍스트 생성 속도를 최대 100배까지 높일 수 있다.
Hugging Face의 TensorFlow 비전 모델을 TF Serving으로 배포하는 방법을 설명한다.
Hugging Face의 Accelerate 라이브러리를 통해 DeepSpeed ZeRO 기술을 적용하여 대규모 모델 학습 시 메모리 문제를 해결하는 방법을 소개한다.
Hugging Face Optimum을 활용해 Transformers 모델을 ONNX 형식으로 변환하고 추론 성능을 최적화하는 방법을 설명한다.
AI Briefing