PyTorch 2.15, Mac에서 MoE 디코딩 속도 5~6.5배 개선

• PyTorch 2.15가 torch.float8_e4m3fn 텐서와 F.scaled_mm를 도입하여 GPU 직접 곱셈을 지원하고, BF16 대비 저장 공간을 절반으로 줄임
• M3 Ultra에서 torch.compile 적용 시 LLM 디코딩 성능이 크게 향상되며, Qwen3.6-35B-A3B(9.4에서 61.3 tokens/s)와 LFM2.5-8B-A1B(23.6에서 123.6 tokens/s) 등 MoE 모델에서 5~6.5배 속도 개선 달성
• Wan-AI/Wan2.2-TI2V-5B-Diffusers에서 타일드 VAE 디코딩 사용 시 비디오 디코딩 피크 드라이버 메모리가 270.135 GiB에서 8.108 GiB로 감소
• Qwen-Image-2.1 VAE 인코더의 이미지 편집 정확도가 수정되어, 인코딩-디코딩 라운드 트립 PSNR이 10.06 dB에서 29.95 dB로 개선되며 CPU 결과와 일치

Performance Metrics

• Metal 커널을 사용한 Softmax 연산에서 [1, 128256] FP32 로짓의 지연 시간이 57 µs에서 7 µs로 줄어 약 8배 개선
• GEMV 커널을 사용한 선형 레이어에서 96개 BF16 레이어 형태에 걸쳐 기하 평균 1.23배 속도 향상
• 네이티브 그룹드 매트멀 구현 덕분에 M3 Ultra에서 MoE 디코딩 토크 스루풋이 약 1.3배 증가

PyTorch 2.16 Preview

• 어텐션 연산이 Metal로 완전히 마이그레이션되어 MPSGraph 의존성이 제거되고 디코딩 전용 벡터 커널 사용 가능
• LLM 디코딩 속도 추가 향상 예상되며, BF16 컴파일 디코딩에서 LFM2.5-8B-A1B는 126.0 tokens/s(+16%), Qwen3.6-35B-A3B는 62.8 tokens/s(+19%) 도달 전망
• libtorch_cpu.dylib 크기를 약 25%(384 MiB에서 287 MiB)로 축소하고 셰이더 컴파일을 최적화하여 설치 용량 감소