AI BriefingDLite, 에이전틱 AI에서 2-6배 수용 길이 달성
[Paper] DLite: History-free Speculative Decoding for Agentic AI
·2026.10.20 22:50
핵심 내용
DLite가 타깃 모델 히든 상태 재사용으로 DSpark 대비 최대 70% 우위 성능을 달성했다
자세히 보기
- DLite는 길고 변화하는 컨텍스트를 가진 에이전틱 AI 워크로드를 위해 설계된 히스토리 프리 스펙ulative 디코딩 프레임워크임
- 기존 드래프트 모델은 에이전틱 워크로드에서 수용 길이(acceptance length)가 최대 80%까지 저하되며, 히스토리 KV 캐시를 유지하는 것은 상당한 시스템 오버헤드를 유발함
- DLite는 타깃 모델의 컨텍스트 히든 상태를 재사용하고, 명시적인 히스토리 컨텍스트 없이 경량 순차 헤드(sequential head)를 통해 블록 내 인과적 의존성을 복원함
- 범용, 롱컨텍스트, 에이전틱 워크로드 실험 결과 DLite는 2-6배의 수용 길이를 달성하며, 최첨단(SOTA) 방식인 DSpark보다 최대 70% 높은 성능을 보임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
