#kv-cache

#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

추론의 전환

AI 추론의 중심이 GPU에서 메모리 계층으로 옮겨가고 있다.

·2·2026.05.12 09시

AI 자립을 향한 여정(23분 읽기)

GitHub Copilot 과금 전환을 계기로 로컬 LLM 하드웨어가 AI 자립 해법으로 제시됐다.

·2026.05.10 17시

확률적 KV 라우팅: 적응형 층별 캐시 공유

랜덤 cross-layer attention으로 층별 KV 캐시 공유를 가능하게 했다.

·2026.05.05 09시

vLLM 대비 메모리 8배 절감, FastDMS 공개

KV-캐시 압축 기술인 DMS를 최적화하여 vLLM보다 메모리는 적게, 속도는 더 빠르게 구현한 FastDMS가 공개되었습니다.

·1·2026.05.05 06시

vLLM 라우팅과 KV (16분 읽기)

혼합 트래픽에서는 클래스 인지 vLLM 라우팅이 가장 좋은 균형을 보였다.

·2026.05.04 09시

KV 캐시 양자화 성능 비교

Tesla P40 벤치마크에서 saw 계열 KV 양자화가 가장 안정적이었다.

·1·2026.05.02 08시

SGLang FP8 KV·누수 수정

SGLang에서 FP8 KV cache 손상과 이미지 요청 메모리 누수가 발견됐다.

·2026.05.01 21시

KV 캐시 지역성: LLM 서빙 비용의 숨은 변수

GPU별 KV 캐시 지역성이 LLM 서빙 비용과 TTFT를 좌우했다.

·1·2026.05.01 09시

GLM-5 대규모 서비스 중 발견한 race condition 버그 수정기 — Coding Agent 추론 인프라의 Scaling Pain

GLM-5 대규모 서비스에서 KV Cache race condition 수정과 LayerSplit 최적화를 공개했다.

·1·2026.04.30 10시

Qwen KV cache 벤치마크

M5 Max에서 Qwen 3.6-35B-A3B KV cache 양자화의 품질과 장문 속도를 재측정했다.

·1·2026.04.30 05시

순환형 Transformer: 더 큰 유효 깊이와 효율적 디코딩

Recurrent Transformer가 유효 깊이와 디코딩 효율을 함께 높였다.

·2026.04.29 09시

Qwen 3.6 KV 캐시 벤치

M5 Max에서 Qwen 3.6 KV cache 형식별 0~1M 성능 차이를 측정했다.

·1·2026.04.29 02시

Qwen3.6-27B IQ4_XS 회귀

llama.cpp 회귀로 Qwen3.6-27B IQ4_XS 용량이 14.7GB에서 15.1GB로 늘었다.

·2026.04.28 21시

DeepSeek V4 KV cache 사용량

DeepSeek V4의 FP16 KV cache 사용량을 1M 컨텍스트 기준으로 재계산했다.

·2·2026.04.26 15시

Qwen3.6 27B KV cache 실험

3090 eGPU와 200k context에서 Qwen3.6-27B의 KV cache 양자화를 테스트했다.

·1·2026.04.25 07시

에이전틱 워크로드용 Inference Engine 벤치마킹

에이전틱 에이전트의 다중 턴·툴 호출 패턴에 맞춘 새 벤치마크와 하네스를 공개했다.

·1·2026.04.23 09시

INT3·INT2 KV 캐시 공개

INT3 모델 압축과 INT2 KV 캐시를 묶은 Metal 커널 구현을 공개했다.

·1·2026.04.22 15시

자율주행을 위한 Flash 비전-언어-행동 추론: FlashDrive

FlashDrive는 자율주행 VLA 추론 전 과정을 최적화해 716ms를 159ms로 줄였다.

·2026.04.21 09시

Cartridges·STILL 단일 GPU 재현

Cartridges와 STILL의 단일 GPU 재현 코드와 벤치마크가 공개됐다.

·1·2026.04.21 01시

KV-cache 압축 기술 오픈소스 재현

장기 문맥 추론을 위한 KV-cache 압축 기술인 Cartridges와 STILL의 오픈소스 재현 코드가 공개되었다.

·2026.04.21 01시

KV 캐시 35%↓

Qwen 3.6 1M 컨텍스트에서 KV cache를 압축해 10.7GB→6.9GB로 줄였다.

·1·2026.04.19 11시

Apple Silicon에서 WebAssembly로 하는 Zero-Copy GPU Inference

Wasm 메모리를 GPU와 공유해 Apple Silicon에서 추론을 제로카피로 돌린다.

·1·2026.04.19 07시

Qwen3.6 핵심옵션

Qwen3.6에 preserve_thinking이 추가돼 추론 컨텍스트와 KV 캐시 효율을 개선한다.

·2·2026.04.17 04시

초거대 LLM 실행을 위한 기반 구축

Cloudflare는 PD disaggregation, prompt caching, KV-cache 최적화로 초거대 LLM 추론을 가속했다.

·2026.04.16 23시