Falcon-H1 하이브리드 LLM 공개

Falcon-H1 시리즈는 0.5B부터 34B 파라미터까지 총 6가지 규모의 오픈 소스 모델을 제공하며, Base 및 Instruct 버전을 모두 포함한다.

이 모델의 핵심은 Transformer의 어텐션(Attention) 메커니즘과 **상태 공간 모델(SSM, Mamba-2)**을 병렬로 결합한 하이브리드 아키텍처에 있다. 이를 통해 추론 속도를 높이고 메모리 사용량을 줄이면서도 강력한 일반화 성능을 확보했다.

주요 특징은 다음과 같다.

• 압도적인 효율성: 0.5B 모델이 기존 7B 모델 수준의 성능을 구현하며, 각 모델은 설계 목표상 실제 크기보다 최소 2배 큰 모델과 대등하거나 더 나은 성능을 보인다.
• 긴 컨텍스트 지원: 최대 256K 컨텍스트 길이를 지원하여 장문 문서 처리 및 복잡한 추론에 최적화되어 있다.
• 다국어 및 STEM 특화: 18개 언어를 기본 지원하며, 고품질 STEM 데이터를 집중 학습하여 수학 및 과학 분야에서 뛰어난 역량을 발휘한다.
• 유연한 배포: 0.5B부터 34B까지 다양한 크기를 제공하여 에지 디바이스부터 대규모 서버까지 폭넓은 활용이 가능하다.

모든 모델은 Apache 2.0 라이선스를 따르는 오픈 웨이트(Open-weight) 모델로 공개되었다.