AWS Inferentia2 Llama 2 추론 가속화

Hugging Face의 optimum-neuron 라이브러리를 활용해 AWS Inferentia2 인스턴스에서 Llama 2와 같은 LLM을 효율적으로 배포하고 추론 성능을 극대화하는 방법을 다룬다.

주요 구현 단계:

• 환경 설정: Hugging Face에서 제공하는 **Neuron Deep Learning AMI(DLAMI)**를 사용하거나 SageMaker용 DLC를 통해 필요한 라이브러리를 간편하게 설치할 수 있다.
• 모델 컴파일 및 내보내기: optimum-neuron API를 사용하여 표준 Transformers 모델을 Neuron 전용 형식으로 컴파일한다. 이때 사용할 코어 수와 **데이터 정밀도(fp16 등)**를 지정할 수 있으며, 컴파일된 모델은 Hugging Face Hub에 저장해 재사용이 가능하다.
• 텍스트 생성: 컴파일된 모델은 NeuronModelForCausalLM을 통해 기존 Transformers 라이브러리와 동일한 방식으로 텍스트를 생성할 수 있다.