PyTorch 2.14 출시: NVGEMM 백엔드와 c10d 내결함성, Python 3.15 휠 지원 (feat. torchvision 0.29)

PyTorch Foundation이 2026년 9월 2일 PyTorch 2.14를 공식 출시했다. 이번 릴리스는 2개월 주기의 네 번째 버전으로, 487명의 기여자가 참여해 2,995개의 커밋을 반영했다.

주요 성능 및 백엔드 업데이트

• NVGEMM 백엔드 도입: CuTeDSL을 활용해 CUTLASS 커널을 생성하는 NVGEMM이 Inductor에 정식 합류했다. 에필로그 융합(epilogue fusion), 스케일링된 GEMM, NVFP4 GEMM 등을 지원하며 Triton 템플릿과 함께 자동 튜닝 후보로 경쟁한다.
• Apple Silicon 선형대수 지원: MPS(Metal Performance Shaders)를 통해 SVD, eigh, QR, Cholesky 분해 등 선형대수 연산이 네이티브 Metal 커널로 지원된다.
• 플랫폼 확장: ROCm 7.14 휠 지원, Intel XPU의 네이티브 그래프 캡처 추가, NVIDIA Rubin 아키텍처(sm_107) 타겟팅이 포함되었다.

분산 학습 및 내결함성 강화

• c10d 내결함성 일급화: 랭크 장애 시 프로세스 그룹을 재시작하지 않고 그 자리에서 재구성하는 인터페이스가 추가되었다. 이는 클러스터의 워밍업된 상태를 보존하여 복구 시간을 단축한다.
• nccl2 백엔드 통합: 기존 torchcomms가 PyTorch 본체에 nccl2 백엔드로 통합되어 논블로킹 커뮤니케이터와 단방향 원격 메모리 접근(RMA) 윈도우를 지원한다.
• Flight Recorder 확장: NCCL 전용이었던 디버깅 도구 Flight Recorder가 모든 백엔드에서 사용 가능하도록 훅이 추가되었다.

생태계 변화

• torchvision ABI 안정화: torchvision 0.29.0부터 torch와의 ABI(Application Binary Interface) 호환성이 보장되어, torch 버전 업그레이드 시 torchvision을 반드시 함께 올릴 필요가 없어졌다.
• 동적 Shape 및 분기 처리: torch.switch로 다분기 분기를 일반화하고, @dynamic_spec 데코레이터로 동적 shape를 선언적으로 지정할 수 있게 되었다.