SpecPilot, 추론형 디코딩 속도 10.87x로 향상

학습이나 품질 저하 없이 추론형 디코딩(speculative decoding) 배포의 알고리즘 및 시스템 최적화를 자율적으로 발견하는 에이전트 루프인 SpecPilot 소개
단일 요청 시 오토레그레시브 디코딩 대비 속도 향상이 4.46x에서 10.87x로, 배치 처리 시 1.94x에서 3.93x로 개선됨
단계별 낮은 토큰 수용률, 배치 시 요청별 검증 작업으로 인한 속도 향상 반감, 다양한 서빙 환경에서의 보편적 최적화 부재라는 세 가지 과제 해결
일반적 무손실 12-bit 가중치 포맷, 하이브리드 재귀 타겟을 위한 트리 검증, 2단계 검증, 그리고 세 가지 배치 메커니즘 발견
4개 타겟 모델, 3개 드래프터, 2개 GPU 플랫폼, 5개 벤치마크를 대상으로 평가 수행
비용 모델을 통해 현재 성능과 이론적 상한선 간 격차를 파악하고, 병렬 에이전트가 방향을 탐색하며 토큰 포싱을 통해 리워드 해킹을 방지함

핵심 내용