Long Context Jamba Instruct로 AI의 미래를 혁신하다

AI21은 최근 AGI House와 협력하여 Jamba의 256K 컨텍스트 윈도우를 활용한 첫 번째 해커톤을 개최했다. 베이 에어리어의 개발자 100여 명이 참여해 12시간 동안 집중적인 코딩과 협업을 통해 다양한 유스케이스를 개발했다.

세션에서는 Zapier의 공동 창립자 Mike Knoop이 AGI의 과제에 대해 발표했으며, AI21의 Or Dagan은 Transformer와 Mamba를 결합한 하이브리드 아키텍처를 통해 Jamba를 설계한 과정을 공유했다. 또한, Jamba-Instruct를 활용한 용어 시트 생성기 데모도 진행되었다.

우승 프로젝트 중 하나인 **'FBI AGI'**는 온라인 괴롭힘 문제를 해결하기 위한 AI 에이전트 Emma를 선보였다. Emma는 Discord 서버에 자연스럽게 녹아들어 대화에 참여하며, 가해자의 특성을 파악하고 식별하는 기능을 갖췄다.

Emma는 Jamba의 긴 컨텍스트를 활용해 방대한 대화 내용을 학습하고, 대화 중 발생하는 메타데이터를 수집하여 정교한 모니터링을 수행함으로써 실질적인 사회적 문제를 해결할 가능성을 보여주었다.