Falcon-H1-Arabic 모델 공개

새로운 아랍어 언어 모델 제품군인 Falcon-H1-Arabic은 Mamba(State Space Model)와 Transformer의 어텐션 메커니즘을 결합한 하이브리드 아키텍처를 채택했다. 이 구조는 각 블록 내에서 SSM과 Attention이 병렬로 작동하여, 긴 문맥에 대한 선형적 확장성과 정밀한 장거리 모델링 능력을 동시에 제공한다.

모델은 3B, 7B, 34B 세 가지 파라미터 규모로 출시되었으며, 문맥 창(Context Window)이 대폭 확장되었다. 3B 모델은 128K, 7B 및 34B 모델은 256K 토큰을 지원하여 법률, 의료, 학술 연구 등 방대한 분량의 문서 분석이 가능하다.

또한 아랍어의 복잡한 형태론과 다양한 방언을 효과적으로 처리하기 위해 데이터 파이프라인을 전면 재구축했다. 이를 통해 기존 모델의 한계였던 긴 문맥 이해도, 수학적 추론, 도메인 특화 지식 습득 능력을 크게 개선했다.