#kv-cache

#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

KV cache INT4가 일부 모델에서 무너지는 원인을 찾고 4줄짜리 보정으로 개선했다.

·2026.04.16 05시

Mac Studio M4 Max에서 Gemma 4:26B를 OC+LM Studio로 돌려 40 tok/s를 확보했다.

·2·2026.04.16 03시

vLLM용 고해상도 CLI 프로파일러로 배칭·KV·캐시 문제를 잡는다.

·1·2026.04.15 05시

KV cache 없이 residual stream만 저장해도 동일 출력을 낼 수 있다고 주장한다.

·1·2026.04.15 04시

core/scratch 분리로 reasoning KV cache를 더 작게, 더 정확하게 압축.

·2026.04.15 00시

서울 밋업에서 vLLM이 LLM 서빙 표준 인프라로 커지는 흐름을 확인했다.

·2026.04.14 11시

KV cache 압축으로 multi-agent 간 메모리를 공유해 토큰을 최대 49% 줄였다.

·1·2026.04.13 09시

TriAttention은 삼각함수 기반 압축을 통해 정확도 손실 없이 KV 캐시를 10.7배 압축하고 처리량을 2.5배 향상시킨다.

·1·2026.04.08 09시

Mistral AI가 vLLM의 분산 서빙 환경에서 발생한 메모리 누수 문제를 추적한 기술적 과정을 공개했다.

·1·2026.01.21 09시

AI 추론 비용을 낮추려면 모델부터 스케줄링까지 전 계층을 최적화해야 한다.

·2025.12.08 09시

LLM 추론의 핵심 단계인 Prefill과 Decode의 메커니즘과 주요 성능 지표를 설명한다.

·1·2025.04.16 19시

NVIDIA가 LLM의 긴 컨텍스트 처리를 위한 KV 캐시 압축 툴킷인 KVPress를 공개했다.

·1·2025.01.23 17시

KV Cache 양자화를 통해 LLM의 메모리 사용량을 줄이고 더 긴 컨텍스트 생성을 지원한다.

·1·2024.05.16 09시

Llama-2-70B는 prompt 처리에선 저렴하지만, completion-heavy 작업에선 GPT-3.5보다 불리하다.

·1·2023.07.20 09시

Encoder·Decoder·LLM 분리와 llm-d, USP 최적화로 처리량을 2.1배 높였다.