Meta, Llama 3 오픈 모델 출시

Meta가 차세대 오픈 소스 LLM인 Llama 3를 출시하고 Hugging Face를 통해 공개했다. 모델은 효율적인 배포를 위한 8B 모델과 대규모 애플리케이션용 70B 모델로 구성되며, 각각 Base 및 Instruct 튜닝 버전이 제공된다. 안전한 모델 사용을 위한 Llama Guard 2도 함께 출시되었다.

주요 기술적 변화는 다음과 같다.

• 토크나이저 확장: 어휘 사전(vocabulary) 크기를 기존 32K에서 128,256으로 대폭 늘려 텍스트 인코딩 효율성과 다국어 성능을 개선했다.
• GQA 도입: 8B 모델에 **Grouped-Query Attention(GQA)**을 적용하여 긴 컨텍스트 처리 효율을 높였다.
• 대규모 학습: 이전 세대보다 8배 많은 약 15조 개의 토큰을 사용하여 학습되었다.

Hugging Face는 Transformers 통합, Hugging Chat 지원, Inference Endpoints 및 주요 클라우드(Google Cloud, AWS) 연동을 통해 Llama 3를 즉시 사용할 수 있는 생태계를 지원한다.