Hugging Face, Google TPU 지원

Hugging Face가 Google Cloud와의 협업을 통해 Inference Endpoints 및 Spaces에서 Google Cloud TPU v5e를 지원한다. AI 개발자들은 이를 통해 모델 배포 및 데모 실행 시 더 높은 성능과 비용 효율성을 확보할 수 있다.

Inference Endpoints에서 제공되는 TPU v5e 구성은 다음과 같다:

• v5litepod-1: 1코어, 16GB 메모리 ($1.375/시간)
• v5litepod-4: 4코어, 64GB 메모리 ($5.50/시간)
• v5litepod-8: 8코어, 128GB 메모리 ($11.00/시간)

대규모 모델의 원활한 구동을 위해 v5litepod-4 이상의 구성을 권장한다.

Hugging Face Spaces에서도 동일한 세 가지 TPU v5e 인스턴스 구성을 지원하여 AI 데모를 빠르게 구축할 수 있다.

이번 협업의 일환으로 오픈소스 라이브러리인 Optimum TPU가 개발되었으며, 이를 통해 Gemma, Llama, Mistral 등 주요 모델을 간편하게 배포할 수 있다.