AI Briefing#transformer-engine
#transformer-engine와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer-engine와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
NVIDIA가 JAX용 Transformer Engine을 통해 Dropless MoE 학습에서 GB200 기준 GPU당 1,025 TFLOPs를 달성하며 처리량을 약 10배 개선했다.