Meta, Llama 2 공개 및 HF 통합

Meta가 새로운 오픈 액세스 대규모 언어 모델(LLM) 제품군인 Llama 2를 공개했다. 이번 모델은 상업적 이용이 가능한 허용적인 라이선스를 제공하며, Hugging Face 생태계와 긴밀하게 통합되어 배포된다.

주요 특징 및 모델 구성

• 모델 규모: 7B, 13B, 70B 파라미터의 사전 학습 모델과 대화에 최적화된 Llama 2-Chat 모델 제공.
• 성능 개선: Llama 1 대비 40% 더 많은 토큰으로 학습되었으며, 4k 컨텍스트 길이와 70B 모델의 빠른 추론을 위한 Grouped-Query Attention 기술 적용.
• RLHF 적용: Llama 2-Chat 모델은 인간 피드백 기반 강화학습(RLHF)을 통해 대화 성능과 안전성을 극대화했다.

Hugging Face 통합 기능

• Hugging Face Hub: 12개의 오픈 액세스 모델(Base 및 Chat 모델) 제공.
• Fine-tuning: 단일 GPU로 소규모 모델을 미세 조정할 수 있는 예제 제공.
• Inference: Text Generation Inference(TGI) 및 Inference Endpoints를 통한 효율적인 프로덕션 추론 지원.