AI Briefing#kv-cache
#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LLM 컨텍스트 윈도우는 단일 요청 처리 가능한 토큰 총량이지만, 긴 입력일수록 중간 정보 인출률이 떨어지는 'Lost in the Middle' 현상이 발생하므로 선별적 관리가 중요하다.
LLMTraceFX가 캐시 히트의 신뢰성을 검증하는 독립 오디터를 도입해 연산 생략 여부에 대한 증거 기준을 제시했다.
DeepSeek이 552B MoE 모델 V4.1-Flash를 공개해 V4-Pro를 대체하고 KV 캐시를 토큰당 890바이트로 최적화했다.
Pinterest가 NVIDIA Dynamo와 Blackwell GPU를 활용해 VLM 서빙 스택을 구축하고 TTFT를 85배 개선했다.
실제 에이전트 워크로드 시뮬레이션에서 LRU를 능가하는 KV 캐시 정책이 없음을 입증한 연구 결과가 발표됐다.
Salesforce가 추론 모델의 KV 캐시 eviction을 위해 신호 기반이 아닌 무작위 샘플링을 적용한 Random Attention을 공개했다.
NInfer 포크가 NVFP4 KV 캐시와 YARN 확장을 통해 RTX 5090에서 555k 토큰 컨텍스트를 지원한다.
언어 모델이 사고 과정 중 주의가 필요한 영역을 스스로 선언해 연산 비용을 최대 52% 줄이는 'Declarative Attention' 기법이 공개됐다.
Mac용 네이티브 LLM 추론 서버 oMLX가 공개되어 SSD 기반 KV 캐시로 에이전트 대기 시간을 5초까지 단축했다.
PagedAttention은 가상 메모리 개념을 적용해 LLM 추론 시 KV 캐시 메모리 낭비를 크게 줄인다.
vLLM의 비표준 KV 캐시 구조가 Cerebras 등 이기종 하드웨어 간 추론 연동을 방해한다고 지적됨.
테스트 타임 트레이닝은 추론 중 가중치를 업데이트해 메모리를 줄이고 속도를 높이지만, 사용자별 모델 복제라는 계산 비용이 발생한다.
WorldTrace는 비디오 월드 모델이 학습 범위를 벗어나도 과거의 시각적 정보를 정확히 기억하고 활용할 수 있게 돕는 프레임워크다.
Cloudflare가 Kimi와 GLM의 GPU 메모리 사용량을 줄이고 처리량을 높였다.
BTB가 반복 프리픽스 버스트를 예측해 KV 캐시를 GPU HBM에 선제 복제한다.
llama.cpp의 포크 버전인 BeeLlama.cpp가 KV 캐시 양자화 효율을 높인 v0.4.1을 공개했다.
llama.cpp의 포크 버전인 CachyLLama가 SSD를 활용한 KV 캐싱으로 프롬프트 처리 속도를 혁신적으로 개선했다.
저사양 CPU 환경에서 KV 캐시 재사용과 n-gram 아카이브를 통해 추론 효율을 극대화한 LLM 서버입니다.