AI BriefingHuggingFace Blog 뉴스
HuggingFace Blog에서 수집한 AI·개발 최신 뉴스와 한국어 요약입니다.
원문 사이트 방문 →Llama 3.1 405B Vertex AI 배포
Hugging Face 가이드를 통해 Llama 3.1 405B를 Google Cloud Vertex AI에 배포하는 방법을 안내한다.
Infini-Attention 실험 결과: 긴 문맥 확장의 한계와 대안
Infini-attention은 메모리 압축이 반복될수록 성능이 저하되며, 현재는 Ring Attention이나 YaRN 등이 더 효과적인 대안으로 확인되었다.
로컬 LLM의 기반, ggml 라이브러리 입문
Transformer 추론에 최적화된 저수준 C/C++ 라이브러리인 ggml의 특징과 핵심 개념을 소개합니다.
Hugging Face, 통합 Tool Use API 공개
Hugging Face가 다양한 모델 제품군에서 호환 가능한 통합 Tool Use API를 공개했다.
HuggingFace, 문서 이미지 증강 기술 공개
문서 이미지의 텍스트와 이미지를 동시에 변형하여 VLM 학습 효율을 높이는 멀티모달 데이터 증강 기술을 소개한다.
2024년 보안 기능 하이라이트
Hugging Face가 허브 사용자의 자산을 보호하기 위한 세부 권한 토큰, 2FA, 커밋 서명 등 주요 보안 기능을 정리했다.
Google, Gemma 2 2B 및 안전·해석 도구 공개
Google이 온디바이스용 Gemma 2 2B와 안전 분류기 ShieldGemma, 해석 도구 Gemma Scope를 출시했다.
Quanto 기반 Diffusion 메모리 최적화
Quanto 양자화 도구를 활용해 Diffusion Transformer 모델의 메모리 사용량을 효율적으로 줄이는 방법을 제시한다.
Core ML 기반 Mistral 7B 실행
Apple의 새로운 Core ML 기능을 활용해 Mistral 7B 모델을 Mac에서 효율적으로 실행하는 방법을 소개한다.
TGI, Multi-LoRA 서빙 기능 공개
Hugging Face의 TGI가 하나의 베이스 모델로 여러 LoRA 어댑터를 동적으로 서빙하는 기능을 출시했다.
DocVQA용 대규모 데이터셋 Docmatix 공개
HuggingFace가 기존 대비 240배 규모인 240만 개의 이미지와 950만 개의 Q/A 쌍을 포함한 DocVQA 데이터셋 Docmatix를 공개했다.
HuggingFace, SmolLM 공개
HuggingFace가 고품질 데이터로 학습된 135M, 360M, 1.7B 규모의 소형 언어 모델 SmolLM 시리즈를 공개했다.
TRL, VLM용 DPO 기능 지원
HuggingFace의 TRL 라이브러리가 시각 언어 모델(VLM)을 위한 직접 선호도 최적화(DPO) 기능을 지원한다.
Hugging Face, 데이터셋 PII 탐지 실험
Hugging Face가 Presidio를 활용해 데이터셋 내 개인정보(PII) 포함 여부를 알려주는 리포트 기능을 실험한다.
Hugging Face와 KerasHub 통합: Transformers 모델 지원
Hugging Face의 Transformers 모델을 KerasHub에서 직접 로드하여 사용할 수 있게 되었다.