Qwen1.5 소개

Qwen 시리즈의 차세대 버전인 Qwen1.5가 공개되었다. 이번 업데이트는 모델 성능 향상과 더불어 개발자 경험을 최적화하는 데 중점을 두었다.

0.5B부터 110B에 이르는 다양한 크기의 Base 및 Chat 모델을 제공하며, MoE(Mixture-of-Experts) 모델도 포함된다. 모든 모델은 최대 32,768 토큰의 컨텍스트 길이를 지원한다.

주요 특징은 다음과 같다:

• Hugging Face transformers에 통합되어 trust_remote_code 설정 없이도 간편하게 사용 가능하다.
• 인간의 선호도에 맞춘 Alignment와 다국어 능력이 대폭 강화되었다.
• Int4, Int8 GPTQ, AWQ, GGUF 등 다양한 양자화 모델을 지원한다.

성능 측면에서 Qwen1.5-72B는 Llama2-70B를 모든 벤치마크에서 앞지르며 언어 이해, 추론, 수학 분야에서 탁월한 능력을 입증했다. 또한 7B 미만의 소형 모델들도 기존의 우수한 소형 모델들과 경쟁할 수 있는 강력한 성능을 보여준다.