TII, 7B 아랍어 모델 공개

Falcon-Arabic은 UAE의 **Technology Innovation Institute (TII)**가 개발한 7B 파라미터 규모의 다국어 언어 모델이다. Falcon 3 아키텍처를 기반으로 하며, 아랍어와 영어를 포함한 여러 언어를 지원한다.

특히 현대 표준 아랍어(MSA)와 다양한 지역 방언을 모두 이해할 수 있도록 설계되어, 아랍어권 사용자들에게 보다 자연스럽고 포용적인 AI 경험을 제공한다. 성능 면에서는 동일 체급의 다른 아랍어 모델은 물론, 최대 4배 더 큰 모델들보다도 뛰어난 성능을 기록하며 효율성과 성능의 균형을 맞췄다.

주요 기술적 특징:

• 토크나이저 확장: 기존 Falcon 3의 토크나이저에 32,000개의 아랍어 전용 토큰을 추가하여 언어 이해도를 높였다.
• 임베딩 초기화: 텍스트 유사도 기반의 새로운 임베딩 초기화 전략을 적용하여, 기존 어휘의 지식을 아랍어 토큰에 효과적으로 전이하고 학습 속도를 가속화했다.
• 긴 컨텍스트 지원: 32,000 토큰의 컨텍스트 길이를 지원하여 RAG(검색 증강 생성) 및 복잡한 문서 작업에 최적화되어 있다.