AI BriefingHuggingFace Blog 뉴스
HuggingFace Blog에서 수집한 AI·개발 최신 뉴스와 한국어 요약입니다.
원문 사이트 방문 →Mistral, Mixtral 8x7b 공개
Mistral AI의 새로운 MoE 모델 Mixtral 8x7b가 공개되었으며, GPT-3.5를 능가하는 성능을 보여준다.
SetFitABSA: 소량 데이터로 구현하는 고성능 감성 분석
SetFit을 활용해 적은 데이터로도 LLM보다 뛰어난 성능을 내는 속성 기반 감성 분석(ABSA) 프레임워크를 공개했다.
HuggingFace, LoRA 추론 속도 300% 개선
HuggingFace가 베이스 모델을 유지하며 LoRA 어댑터만 동적으로 교체하여 추론 속도를 300% 향상시켰다.
Hugging Face, NVIDIA 추론 라이브러리 공개
Hugging Face가 NVIDIA 플랫폼에서 LLM 추론 속도를 최대 28배 높여주는 Optimum-NVIDIA 라이브러리를 출시했다.
Hugging Face, AMD GPU 가속 지원 확대
Hugging Face가 AMD Instinct GPU에서 별도 코드 수정 없이 LLM을 실행할 수 있는 최적화 지원을 발표했다.
DROP 벤치마크 점수 오류 원인 규명
Open LLM Leaderboard의 DROP 벤치마크에서 모델 점수가 비정상적으로 낮게 측정된 원인이 평가 지표의 정규화 오류임을 밝혀냈다.
LCM LoRA로 SDXL 생성 속도 대폭 향상
LCM LoRA를 통해 SDXL 모델을 별도의 재학습 없이 4~8단계의 적은 스텝만으로 빠르게 생성할 수 있다.
Prodigy-HF 출시: HF 모델 통합 지원
데이터 어노테이션 도구 Prodigy와 Hugging Face를 직접 연결하는 Prodigy-HF 플러그인이 출시되었다.
AWS Inferentia2 Llama 2 추론 가속화
Hugging Face의 optimum-neuron을 통해 AWS Inferentia2에서 Llama 2 모델을 최적화하여 배포하는 방법을 제공한다.
Hugging Face, 스토리지 리전 기능 출시
Hugging Face가 규제 준수와 성능 향상을 위한 스토리지 리전 기능을 Enterprise Hub에 도입했다.
나만의 코딩 어시스턴트 학습 가이드
Hugging Face의 공개 저장소를 활용해 특정 코드베이스에 최적화된 개인용 코딩 어시스턴트를 구축하는 방법과 HugCoder를 소개한다.
Renumics Spotlight, Hugging Face 데이터셋 시각화 도구 공개
Renumics Spotlight를 통해 Hugging Face 데이터셋을 한 줄의 코드로 인터랙티브하게 시각화하고 분석할 수 있다.
SDXL 추론 속도 및 메모리 최적화 가이드
SDXL 모델의 추론 속도를 높이고 메모리 사용량을 줄이기 위한 fp16 적용 및 메모리 효율적 어텐션 활용법을 소개한다.
PPO 기반 RLHF 구현 가이드 및 재현 결과
OpenAI의 RLHF 코드를 재현하며 PPO 구현 시 주의해야 할 핵심 기술적 세부 사항을 정리했다.
Hugging Face, 임베딩 모델 배포 최적화
Hugging Face Inference Endpoints를 통해 고성능 임베딩 모델을 배포하는 방법을 안내한다.
브라우저용 Gradio-Lite 출시
Pyodide를 활용해 서버 인프라 없이 브라우저에서 직접 Gradio 앱을 실행할 수 있는 Gradio-Lite가 공개되었습니다.
Hugging Face, Chat Template으로 LLM 포맷 오류 방지
Hugging Face가 모델 학습 시 사용된 채팅 포맷을 자동 적용하는 Chat Template 기능을 도입했다.
JAX와 TPU v5e로 SDXL 추론 가속
Hugging Face Diffusers가 JAX를 통해 Cloud TPU v5e에서 SDXL 추론을 지원하며 성능과 비용 효율성을 높였다.