Qwen2.5-Math: 세계 최고 수준의 오픈 소스 수학 전문 LLM

Qwen이 기존 Qwen2-Math를 업그레이드한 Qwen2.5-Math 시리즈를 공개했다. 이번 시리즈는 Base 모델(1.5B/7B/72B), Instruct 모델, 그리고 수학 전용 Reward Model(72B)로 구성된다.

기존 모델이 영어 수학 문제에 CoT(Chain-of-Thought)만 사용했던 것과 달리, Qwen2.5-Math는 영어와 중국어 모두에서 CoT와 TIR(Tool-integrated Reasoning)을 지원한다. 특히 TIR은 복잡한 계산이나 알고리즘 추론 시 정밀한 계산과 기호 조작 능력을 대폭 향상시킨다.

성능 향상을 위해 다음과 같은 기술적 개선을 적용했다.

• Qwen2.5 베이스 모델을 초기화하여 언어 이해 및 코드 생성 능력 강화
• Qwen Math Corpus v2 구축 (1T 이상의 토큰 활용)
• Rejection Sampling 및 GRPO(Group Relative Policy Optimization)를 통한 학습 최적화

그 결과, GSM8K, MATH, Gaokao 등 주요 수학 벤치마크에서 이전 모델 대비 비약적인 성능 향상을 달성했다.