Snowflake Cortex AI에 Jamba-Instruct 탑재

Snowflake와 AI21이 협력하여 Jamba-Instruct를 Snowflake Cortex AI에서 서버리스 추론 방식으로 사용할 수 있게 했다. 고객은 보안이 유지되는 Snowflake AI Data Cloud 내에서 간단한 SQL 문만으로 이 모델에 즉시 접근할 수 있다.

Jamba-Instruct는 최대 256K 토큰의 컨텍스트 윈도우를 지원하여, 약 800페이지 분량의 문서를 한 번의 추론으로 요약하거나 정보를 추출할 수 있다. 특히 이 모델은 세계 최초로 SSM-Transformer 하이브리드 아키텍처를 성공적으로 확장한 상용 LLM으로, 긴 문맥에서도 품질 저하 없이 뛰어난 성능과 비용 효율성을 제공한다.

긴 컨텍스트 윈도우는 기업의 다양한 AI 활용도를 높인다:

• 방대한 문서 분석: 10-K 보고서, 회의록, 임상 시험 인터뷰 등 긴 문서를 효율적으로 요약 및 분석할 수 있다.
• RAG 구조 단순화: 여러 문서에 흩어진 정보를 찾기 위해 복잡한 다단계 RAG 아키텍처를 구축할 필요 없이, 큰 청크를 한 번에 처리하여 성능을 높일 수 있다.
• Many-shot Prompting: 다수의 예시를 프롬프트에 포함하여 원하는 스타일이나 형식을 정교하게 유도할 수 있다.