Meta Llama 3.1 출시 및 통합 지원

Meta의 차세대 오픈 웨이트 모델인 Llama 3.1이 공개되었다. 이번 시리즈는 8B, 70B, 405B 세 가지 크기로 제공되며, 모든 모델은 기존 8K에서 대폭 확장된 128K 토큰의 컨텍스트 길이를 지원한다.

주요 특징은 다음과 같다:

• 405B 대규모 모델: 합성 데이터 생성, 지식 증류(Distillation), LLM as a Judge 등에 활용 가능한 거대 모델 포함
• 다국어 능력: 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 등 8개 언어 지원
• 도구 사용(Tool Use): 향상된 도구 호출 기능 지원
• 안전성 강화: 프롬프트 인젝션을 탐지하는 Prompt Guard와 입출력을 분류하는 Llama Guard 3 모델 출시

Hugging Face는 Transformers, TGI, Inference Endpoints 등 자사 생태계와의 즉각적인 통합을 지원하며, FP8, AWQ, GPTQ 등 다양한 양자화 옵션을 통해 효율적인 추론과 배포를 지원한다.