Jamba 공개
·2024.03.28 18:39
AI21이 256K context window를 지원하는 Mamba 기반 Jamba를 공개했다.
AI21이 Mamba 기반의 첫 상용급 모델 Jamba를 공개했다. Mamba 기반의 구조적 상태공간모델(SSM)과 Transformer를 결합해 순수 SSM의 한계를 보완했고, 256K context window를 지원한다.
핵심 설계는 다음과 같다.
- 전체 52B 파라미터 중 추론 시 12B만 활성화된다.
- 8개 레이어 중 1개만 Transformer 레이어로 두고 나머지를 Mamba와 MoE(mixture-of-experts)로 구성했다.
- 단일 80GB GPU에서 최대 140K context까지 올릴 수 있도록 최적화했다.
성능 면에서는 장문 컨텍스트 기준 Mixtral 8x7B 대비 3배 처리량을 제시했다. 모델은 Apache 2.0 open weights로 Hugging Face에 공개됐고, Jamba-Instruct는 AI21 Platform에 올라왔으며 NVIDIA API catalog의 NVIDIA NIM 추론 마이크로서비스로도 제공된다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.