Jamba2 소개

Jamba2는 기업용 신뢰성과 제어 가능성을 겨냥한 오픈소스 언어모델군으로, production agent stack에 넣기 쉬운 compact, memory-efficient 구성을 내세운다. SSM-Transformer 아키텍처를 기반으로 하며, 추론형 모델의 무거운 thinking token 부담 없이 정밀한 QA와 문서 기반 워크플로를 처리하도록 설계됐다.

모델군은 두 가지다.

• 3B dense
• Mini (MoE): 12B active, 52B total parameters

둘 다 Apache 2.0으로 공개됐고, 256K 컨텍스트 윈도우를 지원한다. 배포처는 AI21 Studio와 Hugging Face이며, AI21은 3B 모델이 iPhone, Android, Mac, PC 같은 기기에서 로컬 실행될 수 있다고 강조했다.

성능 측면에서는 IFBench, IFEval, Collie, grounding 벤치마크 FACTS에서 선두권을 보였다고 밝혔다. 특히 컨텍스트가 100K 토큰까지 늘어나도 높은 throughput을 유지해, enterprise QA 워크플로에 맞는 신뢰성-처리량 비율을 내세웠다.

실제 엔터프라이즈 태스크 프롬프트를 활용한 사람 평가에서는 Jamba2 Mini가 Ministral3 14B보다 전체 출력 품질과 win rate에서 우위를 보였다. 평가는 사실성, 스타일, 제약 준수, instruction-following, helpfulness를 기준으로 한 블라인드 양자 비교로 진행됐다.

학습은 500B 토큰의 mid-training 뒤에 state passing phase, cold-start SFT, DPO, 그리고 짧은 컨텍스트에서 시작해 긴 컨텍스트로 확장한 다단계 on-policy RL로 구성됐다. 핵심은 verifiable rewards와 model-based rewards를 함께 써서 지시를 더 정확히 따르고 세부 요구를 놓치지 않는 모델로 다듬는 데 있었다.