AI BriefingReaDy, Qwen3.8-27B에서 3.16배 디코딩 속도 향상
[Paper] ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
·2026.10.23 15:05
핵심 내용
ReaDy가 7개 벤치마크에서 DSpark 대비 평균 처리량 7.97% 개선했다
자세히 보기
- ReaDy는 드래프팅 단계에서 위치별 컨텍스트 검색에 하이브리드 리니어 어텐션(HLA) 재귀 상태를 활용하는 최초의 추측적 디코딩 방법임
- 단일 NVIDIA B200 GPU에서 Qwen3.8-27B를 사용해 오토레그레시브 디코딩 대비 평균 3.16배 디코딩 속도 향상 달성
- 7개 벤치마크 모두에서 DSpark보다 우수하며, 평균 처리량은 7.97%, 수락 길이는 8.50% 개선
- 학습된 쿼리를 갖춘 경량 상태 리더를 사용해 커밋된 재귀 상태에서 컨텍스트를 검색하고, 잔차 업데이트를 통해 통합함
- 추가 계산 및 I/O 오버헤드를 최소화하기 위해 저랭크 상태 읽기 및 퓨즈드 연산자 채택
- DSpark의 병렬 백본과 순차적 예측 헤드를 기반으로 한 2단계 적응 전략 적용
- 코드 및 모델 가중치는 GitHub와 Hugging Face에서 공개됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
