TII, 180B 규모 Falcon 180B 공개

TII(Technology Innovation Institute)가 1,800억 개의 파라미터를 보유한 대규모 언어 모델(LLM) Falcon 180B를 Hugging Face를 통해 공개했다. 이는 현재 사용 가능한 오픈 모델 중 가장 큰 규모 중 하나로, 3.5조 개의 토큰을 사용하여 학습되었다.

Falcon 180B는 RefinedWeb 데이터셋을 중심으로 대화, 기술 논문, 코드 등을 포함한 방대한 데이터를 학습했다. 학습 과정에는 Amazon SageMaker를 통해 최대 4,096개의 GPU가 동시에 투입되었으며, 총 700만 GPU 시간이 소요되었다.

성능 측면에서 Falcon 180B는 MMLU 등 주요 벤치마크에서 Llama 2 70B와 OpenAI의 GPT-3.5를 능가하며, Google의 PaLM 2-Large와 대등한 수준의 성능을 보여준다.

주요 특징 및 주의사항:

• 모델 구성: 기본(Base) 모델과 채팅(Chat) 모델이 모두 제공됨.
• 라이선스: 상업적 이용이 가능하지만, '호스팅 서비스(hosting use)'를 제외한 매우 제한적인 조건이 적용되므로 법적 검토가 필요함.
• 아키텍처: Falcon 40B의 혁신 기술인 Multi-query attention을 확장 적용하여 확장성을 높임.