AI Briefing#transformers
#transformers와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformers와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple 연구진이 Pythia-1B를 Mamba 모델로 증류해 perplexity 14.01을 달성했다.
Hugging Face가 Transformers 모델 통합 계약(MIC) 표준안을 제안해 CI 회귀 탐지를 강화했다.
AI2의 StateBench에서 프런티어 모델이 복잡한 상태 추적에서 실패함을 확인했다
Hugging Face의 MIC가 20만 GPU 테스트가 놓친 UMT5 버그를 CPU 픽스처로 잡아냈다
Hugging Face가 TorchTPU로 PyTorch의 네이티브 TPU 지원을 활성화했다
Mistral AI가 최대 32,768 타임스텝을 지원하는 제로샷 예측 오픈소스 모델 Timestral을 공개했다.
AWS가 사전 훈련 비용을 99% 줄이는 하이브리드 SSM 변환 기법 priming을 공개했다.
LIFT 아키텍처가 토큰 간 숨겨진 상태를 전달해 표준 Transformer보다 성능을 개선했다.
Hugging Face Transformers가 Apple Silicon Mac에서 llama.cpp ggml Metal 커널을 활용해 GGUF 모델을 역양자화 없이 압축 상태로 직접 추론하는 기능을 공개했다.
Hugging Face가 Transformers 라이브러리에 GGUF 형식 네이티브 지원을 추가해 로컬 양자화 모델의 디버깅과 유연한 사용을 가능하게 했다.
Hugging Face Transformers가 llama.cpp의 GGUF 포맷을 직접 실행할 수 있게 되어 Apple Silicon에서 로컬 추론이 간편해졌다.
Qwen3.6은 에이전트 코딩과 사고 맥락 보존을 강화한 최신 Qwen 모델군이다.
Tool-use를 붙인 SSM은 길이 한계를 넘어 임의 길이 문제로 일반화한다.