Snowflake Cortex에 통합되는 AI21의 Jamba-Instruct

AI21이 Snowflake와의 파트너십을 통해 최신 파운데이션 모델인 Jamba-Instruct를 Snowflake Cortex에 통합한다. Snowflake Cortex는 고객이 텍스트 데이터를 분석하고 다양한 LLM과 벡터 검색 기능을 활용해 AI 애플리케이션을 구축할 수 있는 완전 관리형 서비스다.

Snowflake Cortex를 통한 통합은 다음과 같은 이점을 제공한다:

• LLM의 원활한 배포: Snowflake Data Cloud와 네이티브하게 통합되어 데이터와 GenAI 모델 간의 연결을 단순화한다.
• 보안 데이터 액세스: 데이터가 Snowflake 보안 경계 내에 유지되어 기존의 보안, 확장성 및 거버넌스 기능을 그대로 활용할 수 있다.
• 인프라 관리: GenAI 솔루션 실행 및 확장에 필요한 복잡한 GPU 인프라를 최적화한다.

Jamba-Instruct는 기존 Transformer 구조와 새로운 SSM 구조를 결합한 하이브리드 아키텍처를 기반으로 한다. 특히 256K의 긴 컨텍스트 윈도우를 제공하여, Mixtral 8x7B와 같은 경쟁 모델보다 긴 문맥 처리에 탁월한 성능을 보인다.

이러한 긴 컨텍스트 능력은 금융권의 자동화된 약관 생성이나 긴 대화를 유지해야 하는 고객용 챗봇, 그리고 방대한 기업 지식 베이스를 활용하는 고도화된 RAG 엔진 구축에 매우 유리하다. 또한, 경쟁력 있는 가격을 통해 비용 효율적인 대규모 GenAI 애플리케이션 구축을 지원한다.