SageMaker Llama 2 배포 벤치마크

Hugging Face는 Llama 2(7B, 13B, 70B) 모델을 Amazon SageMaker 환경에서 효율적으로 배포하기 위한 종합 벤치마크 결과를 발표했다.

**Hugging Face LLM Inference Container(TGI 기반)**를 사용하여 60개 이상의 배포 구성을 분석했다. 다양한 EC2 인스턴스 유형과 부하 수준을 테스트하여 **지연 시간(Latency)**과 **처리량(Throughput)**을 측정했다.

사용 사례별 최적화 전략은 다음과 같다:

• 최고의 비용 효율성: 저비용으로 적절한 성능 구현
• 최저 지연 시간: 실시간 응답이 중요한 서비스
• 최고의 처리량: 초당 토큰 처리량 극대화

또한, GPTQ 양자화를 통해 모델 크기를 줄여 단일 GPU에서도 실행 가능한 최적화 방법도 다룬다. 모든 실험 코드와 데이터는 GitHub를 통해 공개되어 있다.