Qwen2.5-1M: 최대 100만 토큰 컨텍스트 길이를 지원하는 Qwen 모델 공개

Qwen이 최대 100만 토큰의 컨텍스트 길이를 지원하는 오픈소스 모델인 Qwen2.5-7B-Instruct-1M과 Qwen2.5-14B-Instruct-1M을 출시했다. 이번 릴리스에는 효율적인 배포를 위한 vLLM 기반의 추론 프레임워크도 함께 포함되었다.

새로운 추론 프레임워크는 sparse attention 방식을 통합하여 100만 토큰 입력 처리 속도를 기존 대비 3배에서 7배까지 향상시켰다. 이를 통해 개발자들은 대규모 컨텍스트를 가진 모델을 더욱 효율적으로 배포할 수 있다.

성능 면에서 Qwen2.5-1M 시리즈는 기존 128K 버전보다 뛰어난 성능을 보이며, 특히 Qwen2.5-14B-Instruct-1M 모델은 여러 벤치마크에서 GPT-4o-mini를 능가하는 강력한 오픈소스 대안임을 입증했다. 또한, 긴 문맥 처리 능력을 확장하면서도 짧은 텍스트 작업에서의 성능은 기존 모델과 유사하게 유지하여 기본 역량을 보존했다.

주요 특징:

• 오픈소스 모델: 7B 및 14B 인스트럭트 모델 제공
• 고속 추론: sparse attention 기반의 vLLM 통합 프레임워크
• 우수한 성능: 1M 토큰 환경에서 높은 정보 검색 및 이해 능력 보유