RidgeFill, Qwen3.8-27B 프리필 1.25~1.31배 가속

• RidgeFill은 학습 없이 상위 모델 계층의 계산을 건너뛰는 추측적 프리필(speculative prefill) 방식임
• 단일 A100에서 Qwen3.8-27B를 구동할 때 16K~120K 토큰 프롬프트 기준 첫 토큰 도달 시간(TTFT)이 1.25~1.31배 빠름
• 120K 토큰 프롬프트에서 약 28초를 절감하며 RULER와 LongBench v2 점수가 베이스라인 대비 1.2~1.4%p 이내로 유지됨
• vLLM 환경의 Qwen3.8-Flash-Next에서는 9K~32K 토큰 구간에서 1.50~1.60배 가속 효과를 보이며 RULER 니들(needle) 태스크 점수가 정확 추론의 100.0에 비해 99.8을 기록함

Methodology

• 교정 텍스트를 한 번만 통과시켜 릿지 회귀(ridge regression)로 피팅한 계층별 맵을 사용해 후기 계층(late-layer) 입력을 예측함
• 분할 지점까지 하위 계층은 정확히 실행하고, 후기 계층은 예측된 입력으로 캐시를 기록함
• 전체 모델은 선택된 행(row), 마지막 몇 천 토큰, 그리고 모든 디코딩 단계에서 실행됨

Availability

• 코드는 llama.cpp 포크와 GitHub에서 제공됨
• Qwen3.8-27B용 프로젝터 가중치는 Hugging Face에 호스팅됨
• 애호가들은 로컬 추론 등급 하드웨어에서 0.5~1.5시간 내에 커스텀 맵을 구축할 수 있음