AI BriefingvLLM, Google Cloud용 PyTorch 네이티브 TPU 백엔드 제공
·2026.10.20 07:34
핵심 내용
vLLM이 PyTorch 네이티브 TPU 백엔드를 제공해 코드 수정 없이 TPU v7x 구동이 가능해졌다
자세히 보기
- vLLM TorchTPU는 JAX로 모델 코드를 재구현하지 않고 Google Cloud TPU에서 PyTorch 모델을 서빙할 수 있도록 하는 트리 아웃사이드 플랫폼 플러그인임
- TorchTPU(torch.compile(backend="tpu"))와 Ragged Paged Attention, Mixture-of-Experts, FP8/INT8/MXFP4 양자화 matmul을 위한 커스텀 JAX/Pallas 커널을 활용함
- TPU v7x(Ironwood)가 권장 하드웨어이며 모든 pull request와 nightly CI에서 검증됨, TPU v6e, v5e, v5p는 현재 실험적 상태임
- 단일 및 멀티호스트 TPU 슬라이스에서 추론 디코딩, 프리픽스 캐싱, 멀티-LoRA, 분리된 prefill/decode 서빙 등 표준 vLLM 기능을 지원함
- Python 3.12가 필요하며 PyPI 또는 사전 빌드된 Docker 이미지로 설치 가능, Qwen3, DeepSeek-V3, Kimi-K2.5, Llama 3/4 모델에 1급 지원을 제공함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.