Hugging Face가 NVIDIA 플랫폼에서 LLM 추론 속도를 최대 28배 높여주는 Optimum-NVIDIA 라이브러리를 출시했다.
Hugging Face가 AMD Instinct GPU에서 별도 코드 수정 없이 LLM을 실행할 수 있는 최적화 지원을 발표했다.
Open LLM Leaderboard의 DROP 벤치마크에서 모델 점수가 비정상적으로 낮게 측정된 원인이 평가 지표의 정규화 오류임을 밝혀냈다.
LCM LoRA를 통해 SDXL 모델을 별도의 재학습 없이 4~8단계의 적은 스텝만으로 빠르게 생성할 수 있다.
데이터 어노테이션 도구 Prodigy와 Hugging Face를 직접 연결하는 Prodigy-HF 플러그인이 출시되었다.
Hugging Face의 optimum-neuron을 통해 AWS Inferentia2에서 Llama 2 모델을 최적화하여 배포하는 방법을 제공한다.
Hugging Face가 규제 준수와 성능 향상을 위한 스토리지 리전 기능을 Enterprise Hub에 도입했다.
Hugging Face의 공개 저장소를 활용해 특정 코드베이스에 최적화된 개인용 코딩 어시스턴트를 구축하는 방법과 HugCoder를 소개한다.
Renumics Spotlight를 통해 Hugging Face 데이터셋을 한 줄의 코드로 인터랙티브하게 시각화하고 분석할 수 있다.
SDXL 모델의 추론 속도를 높이고 메모리 사용량을 줄이기 위한 fp16 적용 및 메모리 효율적 어텐션 활용법을 소개한다.
OpenAI의 RLHF 코드를 재현하며 PPO 구현 시 주의해야 할 핵심 기술적 세부 사항을 정리했다.
Hugging Face Inference Endpoints를 통해 고성능 임베딩 모델을 배포하는 방법을 안내한다.
Pyodide를 활용해 서버 인프라 없이 브라우저에서 직접 Gradio 앱을 실행할 수 있는 Gradio-Lite가 공개되었습니다.
Hugging Face가 모델 학습 시 사용된 채팅 포맷을 자동 적용하는 Chat Template 기능을 도입했다.
Hugging Face Diffusers가 JAX를 통해 Cloud TPU v5e에서 SDXL 추론을 지원하며 성능과 비용 효율성을 높였다.
Hugging Face의 Inference API를 활용해 인기 AI 애플리케이션인 AI Comic Factory를 개인 Space에 배포하는 방법을 안내한다.
HuggingFace의 TRL 라이브러리가 DDPO를 지원하여 Stable Diffusion 모델의 RLHF 미세 조정을 가능하게 한다.
Hugging Face가 Amazon SageMaker에서 Llama 2를 최적으로 배포하기 위한 60개 이상의 구성에 대한 벤치마크 결과를 공개했다.
Hugging Face가 PRO 구독자에게 고성능 모델 전용 API와 높은 사용량 제한을 제공하는 'Inference for PRO'를 출시했다.
Rocket Money가 Hugging Face Inference API를 통해 4,000개 이상의 클래스를 가진 BERT 모델을 프로덕션에 성공적으로 배포했다.
Hugging Face가 객체 탐지 모델의 성능을 비교하는 리더보드를 공개하고 주요 평가 지표를 설명했다.
AI Briefing