AI Briefing#transformer
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
TabPFN은 소규모 tabular data에서 빠른 baseline을 만드는 사전학습 Transformer다.
KV 헤드 수를 유지하며 쿼리 헤드를 확장해 추론 효율을 높인 Differential Transformer V2가 공개되었습니다.
Mamba와 Transformer를 결합한 하이브리드 구조의 아랍어 특화 모델 Falcon-H1-Arabic이 공개되었다.
Transformers v5는 토크나이저 설계와 학습된 어휘를 분리하여 모듈성과 커스텀 편의성을 대폭 강화했다.
Hugging Face가 모델 정의의 단순화와 효율성을 강화한 Transformers v5를 공개했다.
컬리가 Knowledge Distillation을 적용한 Collaborative Embedding 모델을 도입해 세일 지면에서 ARPU 약 140% 증가를 달성했다.
Hugging Face transformers 라이브러리가 OpenAI gpt-oss 모델 지원을 위한 대규모 업데이트를 발표했다.
유전자 억제 효과를 예측하는 AI 모델 개발을 위한 Virtual Cell Challenge를 소개한다.
SGLang이 Transformers 백엔드를 지원하여 모든 Transformers 호환 모델을 고성능으로 추론할 수 있게 되었다.
HuggingFace가 Transformers 라이브러리를 AI 생태계 전반의 모델 정의 표준으로 구축하겠다는 로드맵을 발표했다.
AI21은 3년 현장 경험을 바탕으로 GenAI의 한계와 Jamba의 해법을 제시했다.
Hugging Face가 timm의 다양한 컴퓨터 비전 모델을 transformers 생태계에서 사용할 수 있게 하는 TimmWrapper를 공개했다.
Google DeepMind와 Hugging Face가 AI 생성 텍스트에 워터마크를 삽입하고 탐지하는 SynthID Text를 출시했다.
HuggingFace가 Transformers 라이브러리에서 Gradient Accumulation 시 손실 함수 계산이 수학적으로 부정확했던 문제를 수정했다.
Intel Labs와 Hugging Face가 개발한 동적 추측 디코딩이 Transformers 라이브러리에 적용되어 생성 속도를 최대 2.7배 높인다.
Hugging Face가 Flash Attention 2와 호환되는 패킹 기능을 도입하여 LLM 학습 효율을 최대 2배 높였다.
Hugging Face가 다양한 모델 제품군에서 호환 가능한 통합 Tool Use API를 공개했다.
Quanto 양자화 도구를 활용해 Diffusion Transformer 모델의 메모리 사용량을 효율적으로 줄이는 방법을 제시한다.