Qwen2.5-Max: 대규모 MoE 모델의 지능 탐구
·2025.01.29 00:00
Alibaba가 20조 개 이상의 토큰을 학습한 대규모 MoE 모델 **Qwen2.5-Max**를 공개했다.
Qwen2.5-Max는 20조 개 이상의 토큰을 사전 학습(Pretraining)하고, 정교한 SFT(Supervised Fine-Tuning) 및 RLHF(Reinforcement Learning from Human Feedback) 과정을 거쳐 개발된 대규모 MoE(Mixture-of-Experts) 모델이다.
성능 평가 결과, Qwen2.5-Max는 Arena-Hard, LiveBench, LiveCodeBench, GPQA-Diamond 등 주요 벤치마크에서 DeepSeek V3를 능가하는 성능을 기록했다. 또한 MMLU-Pro에서도 경쟁력 있는 결과를 보여주었다.
Base 모델 비교에서도 DeepSeek V3, Llama-3.1-405B, Qwen2.5-72B 등 주요 모델들을 상회하는 우수한 성능을 입증했다.
현재 Qwen Chat을 통해 모델을 직접 체험할 수 있으며, Alibaba Cloud를 통해 OpenAI-API와 호환되는 API 형태로 제공된다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.