Qwen1.5-32B: Qwen1.5 언어 모델 시리즈의 정점

오픈소스 커뮤니티는 성능, 효율성, 메모리 점유율 사이의 이상적인 균형을 갖춘 모델을 지속적으로 요구해 왔다. 이에 Qwen은 30B 파라미터 규모가 성능과 자원 요구량 사이의 최적의 '스위트 스팟(sweet spot)'이라는 점에 착안하여 Qwen1.5-32B 및 Qwen1.5-32B-Chat을 출시했다.

Qwen1.5-32B는 기존 시리즈와 유사한 구조를 유지하면서도 **Grouped Query Attention (GQA)**를 도입하여 추론 효율성을 높였다. 벤치마크 결과, Llama2-34B 및 Mixtral-8x7B와 같은 기존 30B급 모델들을 대부분의 작업에서 능가하는 경쟁력 있는 성능을 보여주었다.

채팅 모델인 Qwen1.5-32B-Chat은 MT-Bench에서 8점 이상의 높은 점수를 기록하며, 상위 모델인 Qwen1.5-72B-Chat과 비교해도 격차가 크지 않은 효율적인 대안임을 입증했다.

또한, 한국어를 포함한 12개 언어에 대해 우수한 다국어 능력을 갖추고 있으며, Needle in a Haystack 테스트를 통해 32K 토큰의 긴 문맥(long-context)에서도 최상위권의 성능을 유지함을 확인했다.