llama.cpp MoE 캐시, RTX 5090에서 68 tok/s 달성

Locality of reference helped 94GB Qwen3.8-Flash-Next runs at 68 tok/s on one RTX 5090

·2026.10.22 03:11

핵심 내용

llama.cpp MoE LRU 캐시가 RTX 5090 추론 속도를 2.2배 높였다

llama.cpp PR #29887이 Mixture-of-Experts(MoE) 가중치용 LRU 캐시를 도입하여 참조 지역성을 활용해 PCIe 대역폭 사용량을 줄임
단일 RTX 5090에서 Qwen3.8-Flash-Next 추론 속도가 30.8 tok/s에서 67.8 tok/s로 상승하여 2.20배 가속 및 89% 캐시 히트 레이트 달성
VRAM의 일부 영역을 자주 접근되는 전문가(expert) 캐시로 할당하며, 미스 발생 시 해당 전문가(약 2.6 MiB)를 PCIe를 통해 복사함
SGLang이 llama.cpp 머지 후 12일 뒤 유사한 'paged experts' 구현을 PR #42557로 머지함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.