Soofi S 30B-A3B 모델 공개

Soofi S 30B-A3B는 독일어와 영어에 최적화된 주권형(Sovereign) 오픈소스 파운데이션 모델입니다. 이 모델은 기존 트랜스포머 모델의 높은 배포 비용 문제를 해결하기 위해 Mamba-2와 **MoE(Mixture-of-Experts)**를 결합한 하이브리드 아키텍처를 채택했습니다.

핵심 특징은 다음과 같습니다:

• 높은 효율성: 총 31.6B 파라미터 중 추론 시에는 약 3.2B만 활성화하여, 30B급 성능을 3B 모델 수준의 비용으로 제공합니다.
• 하이브리드 설계: 52개 계층 중 23개는 Mamba-2 시퀀스 혼합 계층, 23개는 MoE 계층, 6개는 GQA(Grouped-Query Attention) 계층으로 구성되어 롱컨텍스트 처리 능력을 극대화했습니다.
• 성능 우위: 40K 컨텍스트 기준, 밀집(Dense) 14B~24B 모델 대비 8~9배 높은 디코딩 처리량을 기록하며, 영어 및 독일어 평가에서 최상위권 오픈 모델 성능을 보여줍니다.
• 실질적 개방성: 가중치뿐만 아니라 학습 데이터 믹스처와 레시피를 포함한 전체 산출물을 공개하여 모델의 재현성과 검증 가능성을 높였습니다.