컨텍스트 길이를 100만 토큰으로 확장!

Qwen2.5-Turbo는 기존 128k였던 컨텍스트 길이를 100만(1M) 토큰으로 대폭 확장했다. 이는 영문 약 100만 단어, 소설 10권, 또는 3만 줄의 코드에 해당하는 방대한 분량이다.

성능 면에서는 Passkey Retrieval 작업에서 100% 정확도를 기록했으며, 긴 텍스트 평가 벤치마크인 RULER에서 93.1점을 기록해 GPT-4(91.6)를 상회하는 성과를 보였다. 또한 짧은 시퀀스 처리 능력에서도 GPT-4o-mini와 대등한 경쟁력을 유지한다.

주요 개선 사항은 다음과 같다:

• 추론 속도 향상: Sparse attention 메커니즘을 통해 100만 토큰 처리 시 첫 토큰 생성 시간(TTFT)을 4.9분에서 68초로 약 4.3배 단축했다.
• 비용 효율성: 100만 토큰당 **0.3위안(¥0.3)**의 가격을 유지하며, 동일 비용으로 GPT-4o-mini보다 3.6배 더 많은 토큰을 처리할 수 있다.

현재 Alibaba Cloud Model Studio, HuggingFace Demo, ModelScope Demo를 통해 이용 가능하다.