AI BriefingHuggingFace Blog 뉴스
HuggingFace Blog에서 수집한 AI·개발 최신 뉴스와 한국어 요약입니다.
원문 사이트 방문 →Hugging Face-IBM, watsonx.ai 협력
Hugging Face와 IBM이 watsonx.ai를 통해 엔터프라이즈 AI 구축을 위한 협력을 발표했다.
SmoothQuant를 통한 CPU LLM 추론 최적화
SmoothQuant 기술을 활용해 LLM의 크기를 줄이고 Intel CPU에서의 추론 효율을 높이는 방법을 다룬다.
Hugging Face, CNIL 지원 선정
Hugging Face가 프랑스 데이터 보호국(CNIL)의 AI 데이터 보호 지원 프로그램에 선정되었습니다.
저지연 텍스트 생성 'Assisted Generation'
LLM 추론의 병목인 메모리 대역폭 문제를 해결하여 텍스트 생성 지연 시간을 최대 10배 단축하는 새로운 디코딩 기법을 소개한다.
StarCoder 기반 StarChat 공개
StarCoder를 ChatML과 DeepSpeed로 미세 조정하여 대화형 코딩 어시스턴트 StarChat을 구축하는 방법을 소개한다.
Hugging Face, 코드 LLM StarCoder 공개
Hugging Face와 ServiceNow가 협력하여 개발한 고성능 오픈 소스 코드 LLM, StarCoder를 공개했다.
TensorFlow 기반 TPU 학습 가이드 공개
TensorFlow와 TPU를 활용해 RoBERTa 모델을 처음부터 학습시키는 엔드투엔드 과정을 안내한다.
Databricks-HF, Spark 연동 기능 출시
Databricks와 Hugging Face가 Spark 데이터프레임을 Hugging Face 데이터셋으로 직접 변환하는 기능을 출시했다.
AWS Inferentia2 최적화 지원
Hugging Face가 AWS Inferentia2 최적화를 지원하여 Transformers 모델의 추론 성능과 비용 효율성을 개선했다.
Snorkel AI, 기업용 FM 활용 강화
Snorkel AI가 Hugging Face의 Inference Endpoint를 활용해 기업용 파운데이션 모델 개발 환경을 확장한다.
StackLLaMA: RLHF 기반 LLaMA 학습 가이드
Hugging Face가 RLHF를 활용해 LLaMA를 학습시키는 StackLLaMA 모델과 가이드를 공개했다.
Hugging Face, 윤리적 ML 태그 도입
Hugging Face가 AI 모델의 윤리적 활용을 지원하기 위해 새로운 윤리 태그와 안전장치를 도입한다.
Intel CPU에서 Stable Diffusion 추론 가속화
Intel Sapphire Rapids CPU에서 OpenVINO를 활용해 Stable Diffusion 추론 속도를 2배 이상 높이는 방법을 소개한다.
Gaudi2 기반 BLOOMZ 추론 가속화
🤗 Optimum Habana을 통해 Habana Gaudi2 가속기에서 176B 규모의 BLOOMZ 모델을 효율적으로 배포하고 추론하는 방법을 소개한다.
Hugging Face와 Flower로 연합 학습 구현하기
Hugging Face와 Flower 프레임워크를 결합하여 언어 모델의 연합 학습을 구현하는 기술 튜토리얼이다.