AI21, Jamba 1.5 모델 제품군 공개

AI21이 Jamba 1.5 Mini와 Jamba 1.5 Large를 포함한 새로운 오픈 모델 제품군을 선보였다. 이 모델들은 SSM-Transformer 하이브리드 아키텍처를 기반으로 설계되어, 기존 Transformer 모델의 한계를 넘어 뛰어난 긴 컨텍스트 처리 능력과 속도, 품질을 동시에 제공한다.

주요 강점은 다음과 같다:

• 256K 컨텍스트 윈도우: 시장에서 가장 긴 수준의 컨텍스트를 지원하여 긴 문서 요약, 분석, RAG 워크플로우의 품질을 높인다.
• 속도 및 효율성: 긴 컨텍스트에서 최대 2.5배 더 빠르며, 동급 모델 중 가장 빠른 속도를 구현했다.
• 검증된 품질: Jamba 1.5 Mini는 Arena Hard 벤치마크에서 Mixtral 8x22B를 능가하며, Large 모델은 Llama 3.1 70B 및 405B 모델보다 높은 성능을 기록했다.
• 개발자 편의성: JSON 출력, 함수 호출(function calling), 문서 객체 처리, 인용 생성 등을 네이티브로 지원한다.

특히 SSM-Transformer 구조는 Transformer의 품질과 Mamba의 효율성을 결합해 메모리 점유율을 낮췄다. 또한, MoE 모델에 최적화된 새로운 양자화 기술인 ExpertsInt8을 개발하여, Jamba 1.5 Large 모델이 단일 8 GPU 노드에서 256K 전체 컨텍스트를 활용하며 구동될 수 있도록 최적화했다.