Gradio가 Trail of Bits의 보안 감사를 통해 발견된 취약점을 모두 수정하여 Gradio 5를 출시했다.
AMD의 5세대 EPYC CPU 'Turin'이 공개되었으며, LLM 추론 성능을 이전 세대 대비 최대 2배 향상시켰다.
Dask를 활용해 Hugging Face의 대규모 데이터셋에 대해 병렬 모델 추론 및 데이터 전처리를 확장하는 방법을 설명한다.
Intel Labs와 Hugging Face가 개발한 동적 추측 디코딩이 Transformers 라이브러리에 적용되어 생성 속도를 최대 2.7배 높인다.
Hugging Face가 대규모 데이터셋 효율성을 위해 Parquet 파일의 중복 제거 문제를 분석하고 개선 방안을 제시했다.
중국 AI 기업들이 내수 시장의 경쟁 심화로 인해 동남아시아, 중동, 서구권 B2C 시장으로 빠르게 확장하고 있다.
Vertex-colored 메쉬를 UV 매핑된 텍스처 메쉬로 변환하는 라이브러리와 기술적 구현 방법을 소개한다.
Meta가 멀티모달 기능과 온디바이스 실행이 가능한 Llama 3.2 모델 시리즈를 공개했다.
HuggingFace가 풍부한 메타데이터를 포함한 43,000개의 비디오 데이터셋 FineVideo를 공개했다.
Optimum-Intel과 OpenVINO GenAI를 활용해 Intel 하드웨어에서 LLM을 최적화하고 배포하는 방법을 다룬다.
기존 LLM을 1.58비트 BitNet 아키텍처로 파인튜닝하여 연산 효율을 극대화하는 방법과 모델을 공개했다.
HuggingChat에서 Hugging Face Space를 직접 도구로 연결해 모델의 기능을 확장할 수 있는 기능이 출시되었다.
Hugging Face의 분산 학습 프레임워크인 Accelerate가 1.0.0 버전 출시를 발표했다.
Hugging Face가 TruffleHog와 협력하여 리포지토리 내 API 키 및 토큰 유출을 방지하는 스캔 기능을 도입했다.
Hugging Face가 로보틱스 데이터셋의 저장 효율과 로딩 속도를 개선하기 위해 비디오 인코딩을 활용한 LeRobotDataset 포맷을 공개했다.
Hugging Face가 Flash Attention 2와 호환되는 패킹 기능을 도입하여 LLM 학습 효율을 최대 2배 높였다.
Hugging Face 가이드를 통해 Llama 3.1 405B를 Google Cloud Vertex AI에 배포하는 방법을 안내한다.
Infini-attention은 메모리 압축이 반복될수록 성능이 저하되며, 현재는 Ring Attention이나 YaRN 등이 더 효과적인 대안으로 확인되었다.
Transformer 추론에 최적화된 저수준 C/C++ 라이브러리인 ggml의 특징과 핵심 개념을 소개합니다.
Hugging Face가 다양한 모델 제품군에서 호환 가능한 통합 Tool Use API를 공개했다.
AI Briefing