Hugging Face, AMD MI300 지원

Hugging Face와 AMD의 협업을 통해 AMD Instinct MI300 GPU가 Hugging Face 플랫폼에 **퍼스트 클래스(first-class)**로 통합되었습니다. 이제 사용자는 코드 변경 없이 transformers 및 text-generation-inference(TGI) 라이브러리를 사용하여 AMD 하드웨어에서 모델을 프로토타이핑하고 배포할 수 있습니다.

주요 업데이트 내용은 다음과 같습니다:

• 인프라 및 CI/CD: Azure의 ND MI300x V5 VM을 활용하여 지속적인 통합 및 배포(CI/CD) 환경을 구축했습니다. 이를 통해 transformers와 TGI 라이브러리가 MI250 및 MI300에서 정기적으로 테스트되어 안정성을 보장합니다.

• 추론 성능 최적화: AMD 엔지니어와 협력하여 Llama 제품군과 같은 모델의 추론 성능을 극대화하기 위해 Flash Attention v2, Paged Attention, GPTQ/AWQ 양자화, ROCm TunableOp 및 최적화된 fused kernels를 통합했습니다.

이번 통합으로 개발자는 NVIDIA 환경과 유사하게 AMD 가속기를 사용하여 대규모 AI 모델을 효율적으로 실행하고 운영할 수 있게 되었습니다.