AI BriefingHugging Face, TorchTPU로 PyTorch 네이티브 TPU 지원
Hugging Face ❤️ TorchTPU: TPUs, Natively
·2026.10.20 09:00
핵심 내용
Hugging Face가 TorchTPU로 PyTorch의 네이티브 TPU 지원을 활성화했다
자세히 보기
- TorchTPU를 통해 TPU가 PyTorch의 네이티브 백엔드로 추가되어, Hugging Face 모델이 device_map="tpu" 또는 pipe.to("tpu") 설정만으로 TPU에서 실행됨
- Google Cloud TPU에서 Transformers와 Diffusers를 실행하기 위해 PyTorch/XLA(torch_xla) 및 Optimum TPU에 대한 의존성이 제거됨
- TPU v6e-4 성능 벤치마크 결과, Qwen-Image-2.1이 컴파일 모드에서 1024x1024 이미지 생성에 3.5초, 이저 모드에서 8.0초 소요됨
- Hugging Face Hub의 커스텀 Pallas 커널(예: ragged-dot)은 TPU v6e-8, 배치 사이즈 64 환경에서 Qwen3-30B-A3B 디코딩 속도를 21.5배, Gemma 4 26B-A4B를 12.8배 향상시킴
- Hugging Face는 TPU에서 야간 CI 테스트를 수행 중이며 현재 96.5%의 테스트가 통과함
- TorchTPU 저장소에 34개의 이슈가 보고되었고 이 중 19개가 수정됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.