Gaudi2, Nvidia A100 대비 2배 빠른 성능
Faster Training and Inference: Habana Gaudi®2 vs Nvidia A100 80GB
·2022.12.14 09:00
Habana Gaudi2가 BERT 학습 및 Stable Diffusion 추론 등에서 Nvidia A100 80GB보다 약 2배 빠른 성능을 기록했다.
Habana Labs의 2세대 AI 가속기인 Gaudi2를 Nvidia A100 80GB와 비교한 벤치마크 결과, 학습과 추론 모두에서 약 2배 빠른 성능을 기록했다.
주요 벤치마크 결과는 다음과 같다:
- BERT 사전 학습(Pre-training): Gaudi2는 1세대 Gaudi 대비 약 3.04배 빠른 속도를 보였으며, 더 큰 배치 사이즈를 활용해 학습 효율을 높였다.
- Stable Diffusion 추론 및 T5-3B 미세 조정(Fine-tuning): Gaudi2가 Nvidia A100 80GB 대비 우수한 성능을 입증했다.
사용자는 🤗 Optimum Habana 라이브러리를 통해 Transformers 및 Diffusers 라이브러리와 SynapseAI 간의 간편한 인터페이스를 활용할 수 있다. 특히 Gaudi2는 1세대 Gaudi와 동일한 SDK를 사용하므로 기존 워크플로우를 수정 없이 그대로 사용할 수 있다는 장점이 있다.
Gaudi2는 Intel Developer Cloud를 통해 접근 가능하며, 8개의 가속기 장치가 포함된 서버를 통해 대규모 모델 학습 및 추론을 가속화할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.