하드웨어 인지형 동적 투기적 디코딩 (Hardware Aware Dynamic Speculative Decoding)

Speculative Decoding(SD)은 작은 draft model이 생성한 여러 토큰을 큰 target model이 한 번에 검증하여 LLM 추론 속도를 높이는 기술이다. 하지만 배치 사이즈(BS)가 커져 연산 집약적(compute-bound)인 환경이 되면, SD가 오히려 일반 추론보다 느려질 수 있다는 한계가 있다.

이를 해결하기 위해 제안된 **Hardware-aware Dynamic Speculative Decoding(DSD)**은 하드웨어 제약 조건에 따라 최적의 draft 토큰 수(K)를 동적으로 결정한다. 메모리 대역폭이 병목인 상황에서는 K를 늘리고, 연산 능력이 병목인 상황에서는 K를 줄여 효율을 최적화한다.

모델 구조에 따라 최적의 K 값은 다르게 나타난다.

• Dense 모델: 배치 사이즈가 커질수록 최적의 K가 단조 감소한다.
• MoE(Mixture-of-Experts) 모델: 배치 사이즈에 따라 K가 비단조적으로 변한다. 낮은 BS에서는 전문가 로딩 비용 때문에 K가 낮았다가, 중간 BS에서 전문가가 이미 로드된 상태가 되면 K가 증가하고, 높은 BS에서는 다시 감소한다.

이러한 동적 조절 방식은 특히 자원 소모가 큰 **Reinforcement Learning(RL)**의 롤아웃 단계나, 배치 내 요청 길이가 제각각인 프로덕션 환경에서 시스템 전체의 처리량을 개선하는 데 핵심적인 역할을 한다.