KV가 DC를 넘다

Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter

·2026.04.19 01:20

핵심 내용

Kimi Linear로 cross-datacenter Prefill/Decode 분리를 현실화해 비용을 낮췄다.

Prefill/Decode disaggregation을 단일 클러스터 밖으로 확장해, cross-datacenter와 heterogeneous hardware 조합을 가능하게 했다.

핵심은 Kimi Linear다. KV cache 크기를 줄여 이전에는 전송 오버헤드 때문에 막혔던 cross-DC PD를 실용화했다.

20x 스케일업한 Kimi Linear 모델에서 검증한 결과:

결과적으로 토큰당 비용을 직접 낮출 수 있다는 주장이다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.