AI Briefing#transformer
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Hugging Face의 Transformers 모델을 KerasHub에서 직접 로드하여 사용할 수 있게 되었다.
KV Cache 양자화를 통해 LLM의 메모리 사용량을 줄이고 더 긴 컨텍스트 생성을 지원한다.
Qwen 팀이 Llama-3-70B와 대등한 성능을 갖춘 100B 규모의 Qwen1.5-110B 모델을 공개했다.
ChatGPT를 활용해 뉴스 헤드라인의 감성을 분석함으로써 주식 수익률을 예측할 수 있음을 입증한 연구를 소개한다.
Rectified Flow 모델의 노이즈 샘플링을 개선하고 새로운 Transformer 아키텍처를 도입해 고해상도 이미지 합성 성능을 높였다.
IBM Research의 경량 시계열 모델 PatchTSMixer가 HuggingFace Transformers 라이브러리에 통합되었다.
Hugging Face가 AMD Instinct GPU에서 별도 코드 수정 없이 LLM을 실행할 수 있는 최적화 지원을 발표했다.
데이터 어노테이션 도구 Prodigy와 Hugging Face를 직접 연결하는 Prodigy-HF 플러그인이 출시되었다.
Hugging Face가 모델 학습 시 사용된 채팅 포맷을 자동 적용하는 Chat Template 기능을 도입했다.
🤗 Transformers 라이브러리에서 기본 지원하는 bitsandbytes와 auto-gptq 양자화 방식의 특징을 비교한다.
Hugging Face의 Optimum과 Accelerate를 활용해 Bark TTS 모델의 추론 성능과 메모리 효율을 최적화하는 방법을 다룬다.
트랜스포머 기반 모델인 Autoformer가 단순 선형 모델인 DLinear보다 시계열 예측 성능이 우수함을 입증했다.
Hugging Face와 AMD가 파트너십을 맺고 AMD CPU 및 GPU에서 트랜스포머 모델 성능을 최적화한다.
Hugging Face와 Microsoft가 협력하여 Azure Machine Learning 내에 Hugging Face 모델 카탈로그를 통합했다.
TensorFlow와 TPU를 활용해 RoBERTa 모델을 처음부터 학습시키는 엔드투엔드 과정을 안내한다.