AI Briefing#transformer
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Intel과 Hugging Face가 협력하여 Transformer 모델의 하드웨어 가속을 지원하는 Optimum Intel 라이브러리를 공개했다.
Hugging Face Optimum 라이브러리에 Graphcore IPU에 최적화된 다양한 Transformer 모델이 추가되었다.
Hugging Face가 Transformers 모델의 추론 성능을 최적화하는 Optimum 라이브러리의 기능을 업데이트했다.
Hugging Face가 모델 학습 및 배포 시 발생하는 CO2 배출량을 추적하고 검색할 수 있는 기능을 도입했다.
Habana Labs의 SynapseAI와 Hugging Face의 Optimum 라이브러리 통합으로 Gaudi 프로세서 기반 Transformer 학습을 가속화한다.
Hugging Face가 Transformers 라이브러리 설계 시 DRY 원칙 대신 '단일 모델 파일' 정책을 채택한 이유를 설명한다.
Hugging Face가 오프라인 강화학습 모델인 Decision Transformer를 transformers 라이브러리에 통합했다.
Transformers 라이브러리에서 특정 단어를 포함하도록 텍스트 생성을 제어하는 Constrained Beam Search 기능을 소개한다.
CTC 구조의 특성을 활용해 긴 오디오 파일에서도 메모리 문제 없이 고품질 음성 인식을 수행하는 방법을 설명한다.
n-gram 언어 모델을 활용하여 Wav2Vec2의 음성 인식 성능을 개선하는 기술적 가이드를 제공한다.
모든 종류의 데이터를 처리할 수 있는 확장 가능한 멀티모달 모델 Perceiver IO가 Transformers 라이브러리에 추가되었다.
Hugging Face의 XLS-R 모델을 활용해 저자원 언어의 음성 인식(ASR) 성능을 높이는 미세 조정 방법을 설명한다.
Hugging Face가 NLP 심화 학습을 위한 코스 Part 2 출시와 커뮤니티 이벤트를 발표했다.
Hugging Face가 트랜스포머 모델의 하드웨어별 성능 최적화를 지원하는 오픈소스 라이브러리 Optimum을 공개했다.
Hugging Face와 Graphcore가 IPU에 최적화된 Transformer 모델을 제공하기 위해 파트너십을 체결했다.
Hugging Face와 Amazon SageMaker의 협업으로 트랜스포머 모델을 손쉽게 배포할 수 있는 새로운 추론 솔루션이 공개되었다.
현대적 CPU 환경에서 BERT 모델의 추론 성능을 극대화하기 위한 최적화 전략과 벤치마킹 방법론을 설명한다.
Hugging Face와 Amazon SageMaker의 협업을 통해 Transformers 모델의 분산 학습을 최적화한다.
Hugging Face Transformers의 RAG 모델에 Ray를 통합하여 문서 검색 속도와 미세 조정 확장성을 개선했다.
Hugging Face Transformers의 TensorFlow 모델 성능이 개선되어 Google 구현체 대비 최대 10% 빨라졌다.
Hugging Face가 라이브러리 최적화와 하드웨어 맞춤형 컴파일을 통해 Transformer 추론 속도를 100배 향상시킨 기술적 접근법을 공개했다.
사전 학습된 BERT나 GPT2를 활용해 Encoder-Decoder 모델의 학습 비용을 절감하는 Warm-starting 기법을 소개한다.