AI BriefingAWS TorchNeuron, CUDA 대신 Neuron 지정으로 PyTorch 코드 실행
AWS, Trainium을 CUDA처럼 PyTorch 장치로 쓰는 네이티브 백엔드 TorchNeuron 공개 (feat. Hugging Face)
·2026.10.23 08:00
핵심 내용
Trainium2/3에서 표준 PyTorch API로 학습 및 추론이 가능한 TorchNeuron이 공개됐다.
자세히 보기
- AWS가 Trainium용 네이티브 PyTorch 백엔드 TorchNeuron을 Apache 2.0 오픈소스로 공개함
- 장치를
cuda대신neuron으로 지정하면 표준 PyTorch 코드가 Trainium에서 실행되며, Trn2와 Trn3만 지원함 - Hugging Face 라이브러리 연동 시 텍스트 생성 모델 상위 100개 중 89%가 추가 작업 없이 동작함
- PyTorch PrivateUse1 확장 지점을 통해
neuron장치를 등록하고, 즉시 실행 또는torch.compile모드를 선택 가능함 torch.compile은 동적 shape를 지원하지 않아dynamic=False설정 및 정적 KV 캐시, 입력 패딩이 필수임- ViT 인코더 NKI 커널 적용 시 최대 2.45배 속도 향상 측정됨 (DINOv3 ViT-L/16 기준)
- PyTorch 2.14.0 및 Python 3.12~3.14를 지원하며, Ubuntu 26.04에서 독립 휠 설치 가능함
- 희소 텐서, NestedTensor, JVP 등 일부 기능은 첫 릴리스에서 미지원 상태임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
