PyTorch FSDP를 활용해 Llama 2 70B 모델의 메모리 및 체크포인트 저장 문제를 해결하며 파인튜닝하는 방법을 다룬다.
42배의 높은 공간 압축률을 통해 학습 및 추론 비용을 획기적으로 줄인 새로운 확산 모델 Würstchen이 공개되었다.
🤗 Transformers 라이브러리에서 기본 지원하는 bitsandbytes와 auto-gptq 양자화 방식의 특징을 비교한다.
Hugging Face가 StarCoder를 기반으로 투명성과 커스터마이징이 가능한 기업용 코드 어시스턴트 SafeCoder를 공개했다.
SDXL의 제어 성능을 유지하면서 ControlNet보다 훨씬 가볍고 빠른 T2I-Adapter가 diffusers에 도입되었다.
TII가 1,800억 개의 파라미터를 가진 대규모 오픈 소스 LLM Falcon 180B를 공개했다.
Fetch가 SageMaker와 Hugging Face를 활용해 ML 파이프라인을 최적화하여 지연 시간을 50% 줄이고 정확도를 200% 높였다.
Hugging Face가 보안 강화를 위해 Git 인증 시 비밀번호 사용을 중단하고 토큰 또는 SSH 키 사용을 의무화한다.
Hugging Face가 기업 보안을 위해 자체 구축 가능한 코드 어시스턴트 SafeCoder를 출시했다.
Hugging Face Hub가 AWS Marketplace에 입점하여 AWS 계정을 통한 통합 결제가 가능해졌다.
BentoML을 사용하여 멀티 스테이지 구조를 가진 DeepFloyd IF 모델을 효율적으로 배포하는 방법을 설명한다.
Hugging Face의 Optimum과 Accelerate를 활용해 Bark TTS 모델의 추론 성능과 메모리 효율을 최적화하는 방법을 다룬다.
RLHF의 복잡성을 해결하는 DPO 방식을 통해 Llama 2를 효율적으로 미세 조정하는 방법을 설명한다.
Hugging Face의 Inference Endpoints와 커스텀 핸들러를 사용하여 MusicGen 모델을 배포하는 방법을 안내한다.
Segmind가 지식 증류 기술을 통해 파라미터를 줄인 경량 Stable Diffusion 모델인 SD-Small과 SD-Tiny를 공개했다.
Apple과 Hugging Face가 SDXL을 Mac에서 효율적으로 실행할 수 있도록 Core ML 최적화 및 양자화 기술을 공개했다.
HuggingFace가 브라우저와 서버에서 LLM에 도구 사용 권한을 부여하는 JavaScript 라이브러리 Agents.js를 출시했다.
Hugging Face가 EU AI 법안이 오픈소스 ML 개발을 저해하지 않도록 5가지 정책 권고안을 발표했다.
AI Briefing