AI Briefing#kv-cache
#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
MiMo-V2.5 모델의 Hybrid SWA 구조를 활용해 KVCache 저장 공간과 연산량을 1/7 수준으로 절감하는 엔지니어링 최적화 기법을 소개한다.
입력 데이터에 따라 압축 예산을 자동으로 조절하는 임계값 없는 KV Cache 압축 기술 ReFreeKV를 제안한다.
AI 에이전트의 중복 연산을 줄이기 위해 사전 계산된 KV Cache를 공유 및 거래하는 새로운 인프라 모델을 제안한다.
KV 캐시를 압축하여 RAM이나 디스크에 저장함으로써 모델의 컨텍스트 길이를 획기적으로 확장하는 InfiniteKV가 공개되었습니다.
DeepSeek-V4의 CSA KV-cache를 압축하여 GPU 메모리 효율을 극대화하는 경량 리트리버가 공개되었습니다.
KV Cache의 양자화 손실을 줄이기 위해 스펙트럼 공분산 인지 회전을 사용하는 OSCAR 기술이 공개되었습니다.
llama.cpp에서 KV 캐시 복사를 방지하여 Gemma-4 모델의 추론 성능을 개선하는 업데이트가 반영되었다.
Transformer의 QKV 프로젝션을 공유하여 KV 캐시를 획기적으로 줄이는 연구 결과를 발표했다.
예측 모델을 활용해 LLM의 KV 캐시를 최대 4배까지 무손실로 압축하는 Speculative KV coding 기술을 소개한다.
Huawei가 vLLM의 용량과 처리량을 동시에 개선하는 새로운 KV-cache 양자화 백엔드 KVarN을 공개했다.
팔면체 매개변수화와 결합 양자화를 통해 트랜스포머의 KV Cache 압축 성능을 극대화한 OCTOPUS가 공개되었다.
llama.cpp가 멀티 GPU 환경에서 --sm tensor 사용 시 KV 캐시 양자화가 작동하지 않던 문제를 해결했습니다.
llama.cpp에 CUDA 기반 FWHT가 추가되어 KV-cache 양자화 시 추론 속도가 향상되었습니다.
llama.cpp의 버그로 인해 Qwen3.6-35B-A3B 모델의 KV 캐시가 누락되어 추론 속도가 크게 저하되는 문제가 발생했습니다.
최신 오픈 웨이트 LLM들이 장문 컨텍스트 효율성을 위해 KV 캐시 압축과 어텐션 최적화 기법을 도입했다
llama.cpp에서 비대칭 KV 캐시 양자화 사용 시 CUDA 가속이 제한되는 문제와 해결 방안이 논의되고 있다.
DeepSeek는 단순 모델 판매를 넘어 10조 달러 규모의 중국 AI 하드웨어 생태계를 구축하려는 거대 전략을 추진 중이다.