AI BriefingGaudi2, BridgeTower 미세 조정 2.5배 가속
Accelerating Vision-Language Models: BridgeTower on Habana Gaudi2
·2023.06.29 09:00
핵심 내용
Habana Gaudi2에서 BridgeTower 미세 조정 시 A100 대비 2.5배 빠른 성능을 달성했다.
자세히 보기
Optimum Habana v1.7을 통해 시각-언어 모델인 BridgeTower를 Habana Gaudi2에서 미세 조정한 결과, NVIDIA A100 대비 2.5배, H100 대비 1.4배 빠른 성능을 기록했다.
이러한 성능 향상은 하드웨어 가속 데이터 로딩 기술을 통해 데이터 로딩 병목 현상을 최적화한 결과이며, 이는 데이터 로딩에 제약을 받는 다양한 시각 모델에도 적용 가능하다.
BridgeTower는 유니모달 인코더와 크로스모달 인코더 사이에 브릿지 레이어를 배치하여 시각 및 텍스트 표현을 다양한 의미 수준에서 정렬하고 융합하는 모델이다.
Habana Gaudi2는 Intel/Habana Labs의 2세대 AI 가속기로, Optimum Habana를 사용하면 기존 Transformers 호환 스크립트를 단 두 줄의 코드 수정만으로 쉽게 이식하여 사용할 수 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
