TII, 오픈소스 LLM 'Falcon' 공개

Abu Dhabi의 **TII(Technology Innovation Institute)**가 개발한 최첨단 언어 모델 제품군인 Falcon이 Apache 2.0 라이선스로 공개되었다.

주요 모델 라인업은 다음과 같다:

• Falcon-40B: 폐쇄형 모델에 필적하는 성능을 갖춘 '진정한 오픈' 모델로, 출시 당시 Open LLM Leaderboard 상위권을 차지했다.
• Falcon-7B: 소비자용 하드웨어에서도 추론 및 미세 조정이 가능한 효율적인 모델이다.
• Falcon-180B: PaLM-2와 경쟁 가능한 규모의 대형 모델이다.

Falcon 모델의 핵심 차별점은 RefinedWeb 데이터셋 활용이다. 대규모 웹 데이터에서 중복 제거와 엄격한 필터링을 거친 고품질 데이터를 사용하여 학습 효율을 높였다.

또한, Multi-Query Attention(MQA) 기술을 적용하여 추론 시 확장성을 크게 개선했다. 이는 모든 어텐션 헤드가 키(Key)와 값(Value) 임베딩을 공유하는 방식으로, 추론 성능을 최적화한다.

사용자는 Hugging Face의 생태계를 통해 Falcon 모델의 추론, 양자화, PEFT 기반 미세 조정 등을 손쉽게 수행할 수 있다.