PyTorch 2.15, Mac GPU MoE 디코딩 5~6.5배 향상 및 FP8 지원

다음 주 출시되는 PyTorch 2.15부터 Mac GPU 지원 강화: MPS 백엔드의 FP8 지원 및 MoE 디코딩 5~6.5배 향상 등

·2026.10.22 12:30

핵심 내용

PyTorch 2.15가 Mac GPU MoE 디코딩을 5~6.5배 향상시키고 FP8을 지원한다.

1 / 4

PyTorch 2.15에서 Apple Silicon Mac용 MPS 백엔드 성능이 대폭 개선됨
M3 Ultra 기준 MoE 디코딩 속도가 2.14 대비 5~6.5배 향상(Qwen3.6-35B-A3B 61.3 tokens/s, LFM2.5-8B-A1B 123.6 tokens/s)
디코딩 전용 경로를 가진 네이티브 grouped matmul, 줄어든 GPU-CPU 동기화, 빨라진 top-k 라우팅이 성능 향상의 주요 원인
torch.float8_e4m3fn 텐서 및 F.scaled_mm 지원으로 최대 50% 메모리 절감 가능(속도는 BF16 대비 느림)
Wan2.2-TI2V-5B VAE 디코딩 시 드라이버 메모리 최대치가 270.135 GiB에서 8.108 GiB로 감소
2.16 미리보기에서 어텐션 Metal 커널 전환 및 MPSGraph 제거로 추가 성능 향상 예정

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.