TII, Falcon 3 오픈 모델 공개

Abu Dhabi의 TII(Technology Innovation Institute)가 개발한 Falcon 3는 10B 미만 파라미터를 가진 디코더 전용 대규모 언어 모델(LLM) 제품군이다. 이번 릴리스는 과학, 수학, 코딩 능력을 강화하는 데 중점을 두었다.

주요 모델 라인업:

• Falcon3-1B/3B-Base: 지식 증류(Knowledge Distillation)를 통해 효율성을 극대화한 소형 모델.
• Falcon3-Mamba-7B-Base: SSM(State Space Model) 아키텍처를 활용하여 추론 및 수학 능력을 강화한 모델.
• Falcon3-7B/10B-Base: 트랜스포머 기반 모델로, 특히 10B 모델은 13B 미만 모델 중 SOTA 성능을 목표로 한다.

핵심 기술 및 특징:

• Depth up-scaling: 7B 모델의 레이어를 복제 및 확장하여 10B 모델을 구축, 성능을 극대화했다.
• Llama 호환성: 모든 트랜스포머 기반 모델은 Llama 아키텍처와 호환되어 기존 AI 생태계에 쉽게 통합할 수 있다.
• 다양한 포맷 지원: Instruct, GGUF, GPTQ, AWQ, 1.58-bit 등 다양한 양자화 및 변형 버전을 제공한다.

성능 지표:

• Falcon3-10B-Base는 MATH-Lvl5(22.9)와 GSM8K(83.0)에서 뛰어난 수학적 추론 능력을 입증했다.
• Falcon3-3B-Base는 Llama-3.1-8B와 같은 더 큰 규모의 모델을 능가하는 효율성을 보여준다.