transformers

신규 모델 및 기능

• Inkling2 (Thinking Machines Lab, 594B/17B active MoE), JEV (결정 헤드), LFM3 (Liquid AI, gated short conv + GQA), Dots 3 Note Preview (MoE, 멀티모달, Whisper-style 오디오 인코더, BF16/FP8 지원) 모델 추가.
• Parallelization: ep_implementation 선택 기능 추가(추론 시 all-reduce, 학습 시 all-to-all), FSDP/HSDP gradient reduce 최적화.
• vLLM: Omni token counting 및 text replacement offsets 지원.
• Gemma4: prefill 최적화 및 num_frames_per_video 전달 지원.

성능 개선

• Exporters: ExportedModel 반환으로 통합되어 Dynamo, ONNX Runtime, OpenVINO, ExecuTorch 지원 강화.
• OpenVINO: fused CPU kernels 적용 시 decode 속도 2.4–3.9배 향상. Xeon Platinum 8570 기준 eager 대비 4.1배(int8 시 4.9배), torch.compile 대비 2.2배(int8 시 2.6배) 향상.
• ONNX Runtime: EmbeddingGemma2(A100) 기준 eager PyTorch 대비 7.6배, torch.compile 대비 1.4배 향상.

Breaking Changes 및 제거 사항

• ep_router 제거, MXFP4 GPT-OSS는 ep_dispatch_experts 사용.
• 오디오 의존성(librosa, phonemizer 등) 제거. Wav2Vec2ProcessorWithLM 및 pyctcdecode/kenlm LM decoding 비권장.
• Exporters API 변경: export() 반환값 변경 및 output_path 파라미터 제거.

주요 버그 수정 및 기타

• Distributed: HSDP expert parallelism, ZeRO-3 rank 0 weight 읽기 및 composite model init 수정, FSDP2 + cpu_ram_efficient_loading OOM 수정.
• Vision/Generation: MiniMax-M3-VL, Qwen VL, PaddleOCR-VL 버그 수정, RecurrentGemma padded generation, DeepSeek-V4 beam search cache 개선.
• 환경/CI: torch 2.15, cu132, Pillow 13.x 호환성 조정, Docker 이미지 업데이트(NNCF 추가, Nvidia 이미지 torch 2.15/cu132).