Llama 4 Maverick 및 Scout 공개

Meta의 차세대 대규모 언어 모델인 Llama 4 Maverick(~400B)과 Llama 4 Scout(~109B)가 Hugging Face Hub에 공개되었다. 두 모델 모두 Mixture of Experts (MoE) 아키텍처를 채택했으며, 활성 파라미터는 17B로 동일하다.

주요 특징 및 아키텍처:

• 네이티브 멀티모달: 텍스트와 이미지 입력을 모두 처리할 수 있는 초기 융합(early fusion) 방식을 사용한다.
• 방대한 컨텍스트 지원: 사전 학습 시 256K를 지원하며, Instruct 모델의 경우 Maverick은 1M, Scout는 최대 10M의 컨텍스트 길이를 제공한다.
• NoPE(No RoPE) 레이어: 기존 RoPE 대신 4개 레이어마다 NoPE 레이어를 사용하여 긴 컨텍스트 처리에 최적화했다. RoPE가 사용되는 나머지 레이어에는 chunked attention이 적용된다.

배포 및 생태계 통합:

• Hugging Face 통합: transformers(v4.51.0) 및 TGI와 즉시 연동되어 모델 로딩, 추론, 미세 조정이 용이하다.
• 양자화 지원: Scout는 단일 GPU 배포를 위해 4-bit/8-bit 양자화를 지원하며, Maverick은 FP8 형식을 지원한다.
• Xet 스토리지: 모델 업로드 및 다운로드 효율을 높이기 위해 Xet 스토리지 백엔드를 도입하여 데이터 중복 제거 및 속도를 개선했다.