AI Briefing
EN로그인

RidgeFill, Qwen3.8-Flash-Next 64K 프리필 시간 42% 단축

[Paper] RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill

·2026.11.03 06:54

핵심 내용

RidgeFill이 Qwen3.8-Flash-Next에서 64K 프리필 시간을 42% 단축했다

자세히 보기

  • RidgeFill은 하위 레이어 상태를 기반으로 리지 회귀(ridge regression)로 상위 레이어 입력을 예측하여, 프리필 단계에서 대부분의 상위 레이어 계산을 생략하는 학습 불필요(training-free) 방식임
  • Qwen3.8-Flash-Next와 vLLM 환경에서 9K~32K 토큰 구간에서 정확 계산 대비 1.50~1.60배 빠른 첫 토큰 생성 시간을 기록했으며, 64K 요청의 처리 시간은 82.6초에서 47.5초로 단축됨
  • Qwen3.8-Flash-Next의 품질 지표에서 RULER 니들(needle) 태스크 점수는 정확 계산 시 100.0인 것과 비교해 99.8을 기록함
  • 단일 A100 GPU에서 llama.cpp 포크를 활용한 Qwen3.8-27B 환경에서는 16K~120K 토큰 구간에서 1.25~1.31배 빨랐으며, RULER 점수는 1.2~1.4점 하락함
  • DeepSeek의 V4.1 아키텍처에서 파생되었으나, 태스크 의존적 오류를 방지하기 위해 민감한 프리필 부분의 프로젝션을 우회하는 방식으로 일반 모델에 적용하도록 수정됨
  • 구현 코드는 Qwen3.8-27B용 llama.cpp 포크, Qwen3.8-Flash-Next용 vLLM 및 Radiance 엔진 포크를 통해 제공됨
qwenllama.cppvllmllm-inferencetraining-freeprefill-optimization
원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.

관련 추천

Redditlibstrix Docker 이미지, Strix Halo에서 Qwen3.8-Flash-Next 40+ tok/s 디코드 지원Redditllama.cpp CUDA MoE 최적화로 DGX Spark 프롬프트 처리 속도 17.2% 향상TLDR AIllm-d 1.0, 멀티테넌트 QoS와 안정적 API 갖춘 프로덕션 LLM 추론 스택 출시PyTorchKR 읽을거리Red Hat, vLLM vs SGLang 성능 비교 해설 공개TLDR AIFigma, Qwen 3.8 27B 기반 후학습 모델로 Sol 6.1 추월Hacker NewsMIT CSAIL, LLM이 신경망 가중치를 직접 읽고 쓰는 Weight-Space Programming 기술 공개