롱 컨텍스트(Long Context)

Jamba 1.5 Large 및 Mini 모델은 256K 토큰의 컨텍스트 창을 제공한다. 이는 이전 시리즈보다 32배 길며, 유사 규모의 경쟁 모델들보다 훨씬 긴 수준이다.

단순히 컨텍스트 길이를 늘리는 것보다 중요한 것은 모델이 이를 얼마나 유용하게 활용하느냐다. NVIDIA의 RULER 벤치마크는 모델이 85% 이상의 성능을 유지하는 **'유효 컨텍스트(effective length)'**를 측정하며, Jamba는 시장에서 가장 긴 유효 컨텍스트 창을 제공한다.

Jamba는 Mamba 아키텍처를 기반으로 구축되었다. 기존 Transformer 모델들이 긴 컨텍스트 처리를 위해 사용하는 희소 주의 집중(sparse attention) 방식은 답변 품질을 저하시키는 부작용이 있지만, Jamba는 이를 극복하여 높은 품질을 유지한다.

또한, Jamba 1.5는 긴 컨텍스트 처리 시에도 뛰어난 효율성을 보여준다.

• 낮은 지연 시간(Latency) 및 우수한 경제성 유지
• Jamba 1.5 Mini는 10K 컨텍스트 길이에서 가장 빠른 속도 기록