AI Briefing#kv-cache
#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#kv-cache와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DeepSeek V4 KV-cache 압축이 토큰 위상별 결정론적 검색 실패를 유발했다.
KV Cache 증가로 인한 메모리 병목을 해결하기 위해 HBM부터 NVMe SSD까지 계층형 구조를 활용해야 한다.
Muir가 32K 컨텍스트에서 Splash Attention보다 2.7배 빠르게 학습했다
Modular가 LLM 추론 지표와 최적화, 운영 비용을 다루는 57페이지 무료 핸드북을 공개했다.
NVIDIA가 Vera Rubin NVL72로 에이전틱 처리량 대비 비용 효율을 30배 높였다
Cloudflare GLM-5.3 버그로 타 고객 데이터가 155건 노출되어 수정함
에이전트 모델 전환 시 KV 캐시 한계와 대화 상태 관리 전략을 벤치마크로 제시했다.
DeepSeek이 DeepInfer를 오픈소스로 공개하며 하루 155조 토큰 처리량을 달성했다
사용자 프로그램(Inferlet)이 KV 캐시와 생성 루프를 직접 제어해 ReACT 등 에이전트 워크로드의 지연을 최대 15% 줄이는 오픈소스 LLM 서빙 시스템 'Pie' 공개.
기본 설정에서는 성능이 비슷하지만, 출력 길이와 접두사 재사용 여부에 따라 최적 엔진이 달라진다.
Furiosa SDK 2026.4가 MoE 모델 전력 효율을 최대 138% 높이고 계층형 KV 캐시를 도입했다.
Telperion이 Qwen3.8-27B의 KV 캐시 4배 압축 변형을 공개해 SWE 성능 6.58%를 개선했다.
Blockway가 Apache-2.0 라이선스로 하이브리드 아키텍처 기반 Agens Volundr 32B 프리뷰를 공개했다.
Prime이 프런티어 오픈 모델 서빙을 위한 Prime Inference를 출시했다.
장문 컨텍스트와 RAG 확산으로 인한 AI 추론 메모리 병목을 해결하기 위해 HBM, Host DRAM, NVMe SSD를 활용한 계층형 아키텍처로의 전환이 필수적이다.
가중치를 수정하지 않고 약 18MB의 KV 캐시를 주입해 LLM의 검열을 우회하는 오픈소스 도구 'phantom-kv'가 공개됐다.
Gemma 4 31B 모델의 손실 없는 KV 캐시 절감 기법을 적용한 추론 엔진 'Gewell'이 공개되어 Blackwell GPU 환경에서 VRAM 효율과 처리량을 개선했다.
텍스트 생성 없이 LLM 간 KV-cache를 직접 연결해 지연을 줄이고 정확도를 높이는 C2C 프레임워크가 공개됐다.