Llama 3.1 405B Vertex AI 배포

Meta의 최신 오픈 LLM인 Llama 3.1 405B 모델을 Google Cloud Vertex AI 환경에서 배포하는 기술 가이드를 제공한다. 특히 메모리 효율을 극대화한 FP8 양자화 버전을 활용하여 NVIDIA H100 GPU 기반의 A3 노드에서 구동하는 방법을 중점적으로 다룬다.

주요 내용은 다음과 같다:

• 배포 방식: Hugging Face의 전용 **Deep Learning Containers(DLCs)**와 **Text Generation Inference(TGI)**를 이용한 프로그래밍 방식 배포와, Vertex Model Garden을 통한 노코드(No-code) 배포 방식을 모두 지원한다.
• 하드웨어 요구사항: 모델 크기와 정밀도(FP16, FP8, INT4)에 따른 VRAM 요구량을 상세히 제시한다. 405B 모델의 경우 FP8 정밀도 사용 시 약 405GB의 VRAM이 필요하다.
• 워크플로우: Google Cloud 환경 설정부터 모델 등록, 온라인 예측 실행 및 리소스 정리까지의 전 과정을 단계별로 설명한다.