Intel Gaudi 2에서 Llama 2 실행 가이드

Optimum Habana와 커스텀 파이프라인 클래스를 활용해 Llama 2(7b, 13b, 70b) 모델의 텍스트 생성을 간소화하는 방법을 다룬다.

해당 파이프라인은 전처리 및 후처리를 포함한 엔드투엔드(end-to-end) 텍스트 생성을 지원하며, 높은 추상화 수준을 통해 복잡한 설정 없이 몇 줄의 코드로 모델을 실행할 수 있도록 설계되었다.

주요 기능 및 활용 방식:

• run_pipeline.py 스크립트를 이용한 CLI 기반 실행
• 사용자 정의 Python 스크립트 내 파이프라인 클래스 통합
• LangChain 클래스와의 연동 지원
• DeepSpeed를 활용한 Llama-2-70b 등 대규모 모델의 분산 추론 지원

실행을 위해서는 Meta의 Llama 2 접근 권한, optimum-habana 라이브러리 설치, 그리고 SynapseAI 환경 설정이 선행되어야 한다.