PyTorch ExecuTorch, 브라우저 내 GPU 추론용 WebGPU 백엔드 추가

• ExecuTorch WebGPU 백엔드 도입으로 PyTorch 모델이 브라우저 내 GPU에서 직접 실행되며, GGUF, ONNX, TFLite 등 다른 포맷으로의 변환이 불필요함
• Apple M1 Pro 벤치마크 결과, 양자화 Llama 3.2 1B와 Qwen3-0.6B 모델에서 WebGPU가 CPU 경로(Webassembly + XNNPACK) 대비 prefill 단계에서 4~7배, decode 단계에서 2~10배 빠름
• torch.export를 통해 내보낸 단일 .pte 파일이 Chrome, Safari 등 WebGPU 지원 브라우저에서 실행되며, LLM(Llama 3.2, Qwen3, Gemma 3), 비전 모델(SmolVLM, SAM 2), 음성 모델(Whisper)을 지원함
• 모든 추론이 브라우저 탭 내에서 로컬로 처리되어 사용자 데이터가 기기에 머물며, 서버 측 비용 없이 오프라인 사용 가능함

Technical Implementation

• WGSL compute shader와 Emscripten으로 컴파일된 Webassembly 런타임을 사용해 브라우저의 WebGPU JavaScript API를 브리징함
• allocate-at-max 버퍼와 디스패치별 워크그룹 재계산을 통해 동적 형태를 지원하며, 런타임에 형태를 전문화된 커널로 라우팅함
• 플랫폼(macOS, Linux/Android, Windows)에 따라 WGSL을 네이티브 GPU 언어(Metal, SPIR-V, HLSL)로 변환함

Availability and Scope

• 현재 초기 개발 단계이며, 연산자, 데이터 타입, 모델 커버리지를 확장할 계획임
• ExecuTorch WebGPU Playground에서 해당 기능을 테스트할 수 있으며, 모델은 동일한 WebAssembly + WebGPU 런타임에서 실행됨
• Llama 3.2 1B, Qwen2.5 0.5B, Qwen3 0.6B에 대한 LoRA 및 DiReFT 파인튜닝을 포함한 온디바이스 학습 기능을 제공함