AI BriefingTokenGate, 정확도 유지하며 LLM 프리필 최대 11.3배 가속
[Paper] TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
·2026.10.21 20:49
핵심 내용
TokenGate가 정확도 저하 없이 LLM 프리필 속도를 최대 11.3배 높였다
자세히 보기
- 기존 학습 모델에 끝에서 끝으로 학습 가능한 토큰 프루닝을 추가하여 빠르고 메모리 효율적인 프리필을 지원하는 소형 드롭인 컴포넌트임
- 다양한 작업에서 정확도 저하 없이 1.4~11.3배 빠른 TTFT(첫 토큰 도달 시간)와 1.5~3.4배 낮은 피크 메모리를 달성함
- 기존 최상위 토큰 프루닝 방법 대비 프리필 속도 최대 6.4배, 피크 메모리 절감 2배 우위 기록함
- 토큰 게이트드 어텐션을 활용해 토큰 중요도 점수로 어텐션 로짓을 재가중하며, 미분 불가능한 top-K 연산자에도 학습 가능하도록 MoE 기반 메커니즘 적용함
- 표준 트랜스포머(Qwen3 등)와 하이브리드 어텐션 모델(Qwen3.5 등)에 표준 파라미터 효율적 미세 조정과 유사한 경량 적응으로 네이티브 확장 지원함
- 코드는 GitHub에서, 논문은 arXiv에서 공개됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
