transformers 릴리즈

Breaking Changes & Deprecations

Python 최소 지원 버전이 3.11로 상향 조정됨.
기존 input 이름 및 rope_scaling 할당에 대한 deprecation 경고가 추가됨.
legacy RoPE 키 정규화 및 thinking -> reasoning_content alias 설정 등 API 호환성 변경이 이루어짐.

New Features & Models

MiniCPM-OCR: SigLIP+Qwen3.5 기반의 문서 이해 모델 추가.
Recursive Flint: 512 토큰 슬라이딩 윈도우와 full attention을 결합한 MoE 모델(256 expert 중 6개 라우팅) 지원.
UltraVBert: ModernVBert 확장 모델로, 512px 타일링 및 4x4 패치 병합(max_image_tiles 27)을 지원.
TTS 모델: 12.5 Hz, 32차원 라텐트를 사용하는 Gradium Phonon TTS와 CPU 실시간 이상 속도를 지원하는 100M 파라미터 Kyutai Pocket TTS 추가.
vLLM 통합: Qwen-Omni Thinker base models, Gemma 3n per-layer inputs, Flint 모델 지원 추가.

Performance & Infrastructure

Tensor Parallelism(TP): Embedding 전용 스타일 도입 및 TP size로 나누어 떨어지지 않는 폭 지원. MoE TP/EP 플랜에서 모든 expert 샤딩을 필수화함.
Quantization: QuantizedCache에 fp8 backend(torch.float8_e4m3fn) 추가. DeepSeek-V4.1 FP4 expert 처리 및 TimesFM 2.5 bitsandbytes 4/8-bit 시 integer weight dtype 캐스팅 제거로 성능 향상.
Cache/Generation: Flash Attention static cache 호환성 개선 및 chunked prefill cache continuation 지원.
CI/Infra: Intel XPU CI 추가 및 torch 2.14.1 업그레이드. SAM 모듈 분할 제거 및 다양한 테스트 인프라 개선.

Bug Fixes

Gemma4: Processor import 오류 수정.
Vision: PNG 투명도 흰색 배경 합성 및 DeepSeek-VL/Janus background_color 처리 오류 수정.
Generation: BLOOM static cache/compiled generate 크래시 수정 및 HunYuan-VL/Idefics2/3 배치/beam search 이미지 할당 오류 수정.
Compatibility: MPS 환경에서 torch.float64 크래시 수정 및 torch 2.6/2.7 DtensorShardOperation 오류 수정.

Breaking Changes & Deprecations

Python 최소 지원 버전이 3.11로 상향 조정됨.
기존 input 이름 및 rope_scaling 할당에 대한 deprecation 경고가 추가됨.
legacy RoPE 키 정규화 및 thinking -> reasoning_content alias 설정 등 API 호환성 변경이 이루어짐.

New Features & Models

MiniCPM-OCR: SigLIP+Qwen3.5 기반의 문서 이해 모델 추가.
Recursive Flint: 512 토큰 슬라이딩 윈도우와 full attention을 결합한 MoE 모델(256 expert 중 6개 라우팅) 지원.
UltraVBert: ModernVBert 확장 모델로, 512px 타일링 및 4x4 패치 병합(max_image_tiles 27)을 지원.
TTS 모델: 12.5 Hz, 32차원 라텐트를 사용하는 Gradium Phonon TTS와 CPU 실시간 이상 속도를 지원하는 100M 파라미터 Kyutai Pocket TTS 추가.
vLLM 통합: Qwen-Omni Thinker base models, Gemma 3n per-layer inputs, Flint 모델 지원 추가.

Performance & Infrastructure

Tensor Parallelism(TP): Embedding 전용 스타일 도입 및 TP size로 나누어 떨어지지 않는 폭 지원. MoE TP/EP 플랜에서 모든 expert 샤딩을 필수화함.
Quantization: QuantizedCache에 fp8 backend(torch.float8_e4m3fn) 추가. DeepSeek-V4.1 FP4 expert 처리 및 TimesFM 2.5 bitsandbytes 4/8-bit 시 integer weight dtype 캐스팅 제거로 성능 향상.
Cache/Generation: Flash Attention static cache 호환성 개선 및 chunked prefill cache continuation 지원.
CI/Infra: Intel XPU CI 추가 및 torch 2.14.1 업그레이드. SAM 모듈 분할 제거 및 다양한 테스트 인프라 개선.

Bug Fixes

Gemma4: Processor import 오류 수정.
Vision: PNG 투명도 흰색 배경 합성 및 DeepSeek-VL/Janus background_color 처리 오류 수정.
Generation: BLOOM static cache/compiled generate 크래시 수정 및 HunYuan-VL/Idefics2/3 배치/beam search 이미지 할당 오류 수정.
Compatibility: MPS 환경에서 torch.float64 크래시 수정 및 torch 2.6/2.7 DtensorShardOperation 오류 수정.

transformers