IBM, 하이브리드 Mamba2 모델 공개

IBM, Princeton, CMU, UIUC 연구진이 공동 개발한 Bamba-9B는 추론 효율성을 높인 하이브리드 Mamba2 모델이다.

vLLM 환경에서 테스트한 결과, 표준 Transformer 모델 대비 2.5배의 처리량(throughput) 향상과 2배의 지연 시간(latency) 단축을 달성했다.

이 모델은 완전한 오픈 데이터로 학습되었으며, 개발자들이 즉시 활용할 수 있도록 다음과 같은 주요 라이브러리를 지원한다:

• transformers
• vLLM
• TRL
• llama.cpp

연구진은 모델과 함께 튜닝, 학습, 확장 사전 학습 레시피 및 상태 저장 데이터 로더(stateful data loader)를 공개하여 커뮤니티의 연구와 실험을 독려하고 있다.