Jamba 1.6 공개

AI21은 Jamba 1.6을 공개하며 기업 배포용 오픈 모델 패밀리의 성능 우위를 강조했다. Jamba Large 1.6은 Mistral Large 2, Llama 3.3 70B, Command R+를 품질에서 앞섰고, Jamba Mini 1.6도 Ministral 8B, Llama 3.1 8B, Command R7B보다 더 높은 성능을 냈다고 밝혔다.

핵심은 256K 컨텍스트와 hybrid SSM-Transformer 아키텍처다. AI21은 Jamba 1.6이 RAG와 장문 맥락 질의응답에서 강점을 보이며, 컨텍스트가 길어져도 정확도 저하를 최소화한다고 설명했다. 비교 자료는 Artificial Analysis 속도 점수와 LongBench, Arena Hard 리더보드를 기반으로 했다.

배포 방식도 유연하다. AI21 Studio는 물론 Hugging Face에서 모델을 내려받아 온프레미스나 in-VPC로 운영할 수 있고, 추가 배포 옵션도 예고했다. 민감한 데이터가 모델 벤더에 노출되지 않는 구조를 내세워, 보안과 성능 사이의 선택지를 줄였다고 주장했다.

실사용 사례도 제시했다.

• Fnac: Jamba 1.6 Mini로 출력 품질 26% 개선, 지연시간 약 40% 단축
• Educa Edtech: grounded QA에서 90% 이상의 검색 정확도와 인용 신뢰성 확보
• 디지털 뱅킹 고객: 내부 테스트에서 Jamba Mini 1.6이 이전 모델보다 21% 높은 precision을 기록하고 GPT-4o 수준 품질을 보였다고 설명

마지막으로 Batch API를 새로 내놓아 대량 요청을 비동기 처리할 수 있게 했다. Fnac 테스트에서는 수만 건의 요청 대기 시간이 여러 시간에서 1시간 미만으로 줄어들며, 대규모 문서 처리와 제품 설명 검수 같은 업무 효율을 크게 높였다고 밝혔다.