AI BriefingSpecOPD, 3.56배 속도 향상 및 41.45% 수용 길이 증가 달성
[Paper] SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding - By Qwen
·2026.11.06 02:03
핵심 내용
SpecOPD가 브랜치 병렬화를 통해 LLM 추론 효율을 높였다
자세히 보기
- SpecOPD는 순차적 의존성과 감독을 분리하는 브랜치 병렬 온-폴리시 디스틸레이션 프레임워크로, 참조 접두사와 드래프트 샘플링된 히스토리만으로 드래프트 블록을 감독함
- 네이티브 설정에서 순차 롤아웃 온-폴리시 디스틸레이션 대비 평균 수용 길이를 최대 41.45%, 감독 토크 처리량을 16.09배 향상시킴
- 브랜치를 제안 트리(proposal tree)로 패키징하여 타겟 접두사 계산을 공유함으로써 오토레그레시브 디코딩 대비 최대 3.56배의 생성 속도 향상을 달성함
- 8B, 27B, 125B 타겟 모델, 세 가지 병렬 드래프트 아키텍처(DFlash, DSpark, DFlash V2), 대화, 코딩, 수학, 에이전틱 태스크를 포함한 네 가지 작업 도메인에서 프레임워크를 평가함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
