Qwen3.8-27B-DSpine-b16: Qwen3.8-27B 추론 속도 3.8배 끌어올리는 DSpine 드래프트 모델

tencent/Qwen3.8-27B-DSpine-b16

·2026.11.10 06:53

Qwen3.8-27B 전용 스펙ulative decoding용 드래프트 모델이다. 5개 레이어로 구성되며, 각 레이어가 인접 위치의 예측된 전구 특징을 전달해 인과적 의존성을 네트워크 깊이로 전달하는 구조를 갖는다. 블록 크기 16과 8,192 토큰 슬라이딩 윈도우를 지원한다.

SGLang 0.5.22 환경에서 BF16 정밀도로 평가했다. 기존 DFlash2 대비 일반 벤치마크에서 수락 길이가 최대 1.5 토큰 이상 늘고, 에이전트 작업에서는 20% 이상 향상된 수락 길이를 기록했다. 특히 WorkBuddy Office 벤치마크에서 xhigh 추론 시 5.63 토큰의 수락 길이를 달성했다.

엔드투엔드 처리량 측면에서 오토레그레시브 디코딩 대비 최대 3.84배의 속도 향상을 보인다. WorkBuddy Office low 추론 모드에서 805.53 tokens/s를 기록했으며, SWE-bench Pro와 τ²-bench에서도 2.9배 이상의 가속 효과를 확인했다. 동적 검증 시 DSpark를 참조하고 ReplaySSM을 활성화하여 안정성을 확보했다.

Apache 2.0 라이선스로 배포되며, 2B 파라미터 크기의 BF16 텐서로 구성된다. SGLang 서버 설정에서 speculative-algorithm을 DSPINE으로 지정하고 해당 체크포인트 경로를 등록하면 바로 적용할 수 있다. Qwen3.8-27B 기반 서비스의 추론 지연 시간을 줄이고자 하는 개발자에게 적합하다.

HuggingFace
HuggingFace 모델

tencent/Qwen3.8-27B-DSpine-b16

원문에 등록된 설명이 없습니다.

text-generation

이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 소개 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.