BlockPilot: 추론 속도를 높이는 적응형 블록 크기 예측

기존의 Diffusion 기반 Speculative Decoding 방식은 고정된 블록 크기를 사용하여 모든 입력에 대해 동일한 전략을 적용한다는 한계가 있었습니다. 하지만 입력 샘플마다 최적의 블록 크기가 다르다는 점에 착안하여, BlockPilot이라는 새로운 방식을 제안합니다.

BlockPilot의 주요 특징은 다음과 같습니다:

• Instance-Adaptive Policy: Prefilling 단계의 표현(representation)을 기반으로 최적의 블록 크기를 예측하는 경량 정책 학습 모델을 사용합니다.
• Low Overhead: 예측이 Prefilling 직후 단 한 번만 수행되므로, 전체 추론 과정에 미치는 오버헤드가 매우 적습니다.
• Plug-and-Play: 기존 시스템에 쉽게 통합할 수 있는 구조를 가집니다.

실험 결과, Qwen3-4B 모델(Temperature T=1 기준)에서 4.20배의 속도 향상과 **5.92의 수락 길이(acceptance length)**를 기록하며 뛰어난 효율성을 입증했습니다.