SupraLabs, 50M 규모 Supra-50M 출시

SupraLabs가 Llama 스타일 아키텍처를 기반으로 한 50M 파라미터 규모의 인과적 언어 모델(Causal Language Model)인 Supra-50M을 공개했다. 이 모델은 Base와 Instruct 두 가지 버전으로 제공된다.

주요 특징 및 학습 정보:

• 학습 데이터: fineweb-edu의 고품질 교육용 웹 텍스트 200억(20B) 토큰 사용
• 아키텍처: Llama 스타일의 Decoder-only Transformer (GQA 적용)
• 토크나이저: 50만 개의 문서를 샘플링하여 학습한 커스텀 Byte-Level BPE

벤치마크 성능: Supra-50M은 모델 크기가 매우 작음에도 불구하고, 더 큰 규모의 모델들과 경쟁할 만한 성능을 보여준다.

• BLiMP (언어학): 76.3% (GPT-2 124M 모델의 63.0%를 상회)
• SciQ (과학): 77.2%
• ARC-Easy (지식): 52.2%

SupraLabs는 이번 모델을 시작으로 Supra-124M 및 Supra-350M 모델을 순차적으로 출시할 계획이다.