AI BriefingTorchTPU와 TorchTitan, Llama 3 405B 학습에서 50% 이상 MFU 기록
TorchTPU를 소개합니다 | 파이토치 한국 사용자 모임
·2026.10.22 07:46
핵심 내용
TorchTPU와 TorchTitan이 대규모 LLM 학습에서 50% 이상 MFU를 달성했다.
자세히 보기
- TorchTPU와 TorchTitan이 TPU v7x 칩 1,024개로 Llama 3 405B를 학습할 때 50% 이상의 모델 FLOPs 활용률(MFU)과 칩당 500 tokens/sec 성능을 달성함
- Hugging Face에서 가장 많이 다운로드된 상위 5,000개 모델에서開箱 실행을 검증했으며,
.to("tpu")호출로 최소한의 코드 수정만 필요로 함 - TPU v7x 칩 8,192개로 Qwen3 235B MoE 학습 시 28% MFU를 유지하고, TorchRec은 SparseCore를 활용해 DLRM v2에서 JAX와 동일한 성능(18.3ms 스텝 지연)을 기록함
- 통신 융합을 위한 SimpleFSDP, 컴파일 시간을 일정하게 유지하는 Scan 고차 연산, 확산 어텐션 블록에서 17.5% 속도 향상을 제공하는 Pallas SplashAttention 등 주요 최적화 기술 적용
- TorchTPU와 TorchTitan은 현재 GitHub에서 오픈소스 프로젝트로 제공됨
- 향후 6~12개월 내 FP8/FP4 양자화, 엔드투엔드 RL 지원, zero-copy DMA 기반 하드웨어 지원 메모리 오프로딩 로드맵을 계획함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
