Hugging Face의 XLS-R 모델을 활용해 저자원 언어의 음성 인식(ASR) 성능을 높이는 미세 조정 방법을 설명한다.
Intel Xeon CPU의 하드웨어 및 소프트웨어 기능을 활용해 BERT 모델의 추론 성능을 최적화하는 방법을 설명한다.
Hugging Face가 NLP 심화 학습을 위한 코스 Part 2 출시와 커뮤니티 이벤트를 발표했다.
10억 개의 학습 쌍과 JAX/Flax를 활용해 SOTA급 문장 임베딩 모델을 구축하는 기술적 방법론을 소개한다.
Hugging Face가 트랜스포머 모델의 하드웨어별 성능 최적화를 지원하는 오픈소스 라이브러리 Optimum을 공개했다.
Hugging Face와 Graphcore가 IPU에 최적화된 Transformer 모델을 제공하기 위해 파트너십을 체결했다.
인터넷의 느린 네트워크 환경에서도 여러 사용자의 자원을 활용해 언어 모델을 학습시키는 DeDLOC 알고리즘이 공개되었다.
Hugging Face Hub에서 spaCy NLP 파이프라인을 공유, 설치 및 추론 API로 사용할 수 있게 되었다.
Hugging Face와 Amazon SageMaker의 협업으로 트랜스포머 모델을 손쉽게 배포할 수 있는 새로운 추론 솔루션이 공개되었다.
Hugging Face Hub가 Sentence Transformers를 지원하며 임베딩 모델 공유 및 추론 기능을 제공한다.
현대적 CPU 환경에서 BERT 모델의 추론 성능을 극대화하기 위한 최적화 전략과 벤치마킹 방법론을 설명한다.
Hugging Face와 Amazon SageMaker의 협업을 통해 Transformers 모델의 분산 학습을 최적화한다.
Hugging Face와 Amazon이 전략적 파트너십을 통해 SageMaker용 최적화된 딥러닝 컨테이너를 출시했다.
Hugging Face Transformers의 RAG 모델에 Ray를 통합하여 문서 검색 속도와 미세 조정 확장성을 개선했다.
Hugging Face Transformers의 TensorFlow 모델 성능이 개선되어 Google 구현체 대비 최대 10% 빨라졌다.
Hugging Face Trainer에서 DeepSpeed와 FairScale의 ZeRO 기능을 통해 대규모 모델 학습 효율을 높이는 방법을 설명한다.
Hugging Face가 라이브러리 최적화와 하드웨어 맞춤형 컴파일을 통해 Transformer 추론 속도를 100배 향상시킨 기술적 접근법을 공개했다.
사전 학습된 BERT나 GPT2를 활용해 Encoder-Decoder 모델의 학습 비용을 절감하는 Warm-starting 기법을 소개한다.
Hugging Face Transformers 라이브러리에 Ray Tune이 통합되어 고도화된 하이퍼파라미터 최적화가 가능해졌다.
Hugging Face가 모델 크기를 줄이고 속도를 높이는 pytorch_block_sparse 라이브러리를 출시했다.
Reformer는 LSH 어텐션 등을 활용해 메모리 사용량을 최소화하며 최대 50만 토큰의 긴 시퀀스를 처리한다.
AI Briefing