AI BriefingDSpine, Qwen3-8B 스펙ulative 디코딩 처리량 23.3% 향상
[Paper] DSpine - Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding - tencent
·2026.11.08 00:48
핵심 내용
DSpine이 Qwen3-8B 스펙ulative 디코딩 처리량을 23.3% 높였다
자세히 보기
- DSpine는 백본의 모든 레이어에 인과 조건을 주입해 병렬 드래프팅 시 일관된 연속성을 유지하는 새로운 스펙ulative 디코딩 드래프터임
- Qwen3-8B 모델에서 온도가 0일 때 7개 벤치마크 평균 수용 길이가 3.77에서 4.82로 증가하며 DFlash 대비 27.8% 향상됨
- SGLang 서빙 테스트에서 DFlash보다 평균 처리량이 23.3% 높게 나타남
- 타깃 모델의 출력 임베딩에서 파생된 통합 전송 공간과 레이어별 지도를 활용해 얕은 레이어에서 예측된 특징 형성을 촉진함
- SGLang 내에서 효율적인 병렬 실행을 위해 퓨즈드 커널과 트랜지션 캐시를 구현함
- 코드와 모델 가중치는 GitHub, Hugging Face, 프로젝트 웹사이트에서 제공됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
