AI Briefing#prefix-caching
#prefix-caching와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#prefix-caching와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Qwen3.8 27B의 3비트 가중치로 R9700에서 캐시 용량을 늘려 에이전트 속도를 높였다.
NVFP4 정밀도와 대화형/배치 풀 분리를 통해 Gemma 4의 SLO 준수 처리량을 극대화하는 vLLM 최적화 전략을 소개한다.
BTB가 반복 프리픽스 버스트를 예측해 KV 캐시를 GPU HBM에 선제 복제한다.
GKE Inference Gateway가 Prefix Caching과 모델 인식 라우팅을 통해 LLM 추론 성능을 획기적으로 개선했다.
Cloudflare Workers AI가 Kimi K2.5를 올려 256k 컨텍스트·툴콜링을 지원한다.
SK플래닛이 GPT-4o와 Google TTS를 활용해 기업 광고 영상을 자동 생성하는 B2B 서비스 'AI Moment'의 개발 경험과 최적화 전략을 공유했다.