업스테이지 Solar 10.7B, Hugging Face Open LLM Leaderboard 1위

Solar 10.7B가 Hugging Face Open LLM Leaderboard에서 평균 74.2점으로 1위를 차지했다. 업스테이지는 이 10.7B 영어 LLM이 오픈소스 7B 모델을 기반으로 한 depth up-scaling으로 만들어졌고, 3조 토큰 이상으로 사전학습됐다고 밝혔다.

이 모델은 Apache 2.0 라이선스로 공개됐으며, pre-trained 버전과 instruction fine-tuned 버전을 모두 제공한다. 업스테이지는 Solar를 기업 환경에 맞는 SLM으로 강조했고, 로컬 실행으로 데이터 유출을 줄이며 AI 환각도 완화할 수 있다고 설명했다.

비교 점수는 다음과 같다.

• GPT-3.5 Turbo: 71.07
• Llama 2: 67.87
• Qwen 72B: 73.6
• Mixtral 8x7B: 72.62