AI BriefingvLLM KV 캐시, Cerebras 호환성 문제
This tensor shape from vLLM: (num_blocks, block_size, 656) can give Cerebras a hard time.
·2026.08.19 14:55
핵심 내용
vLLM의 비표준 KV 캐시 구조가 Cerebras 등 이기종 하드웨어 간 추론 연동을 방해한다고 지적됨.
자세히 보기
vLLM의 KV 캐시 텐서 형태 중 마지막 차원인 656은 요소 개수가 아닌 바이트 단위의 구조체 크기임.
이 656바이트는 fp8 압축 MLA 잠재변수(512B), fp32 타일 스케일(16B), **bf16 RoPE 성분(128B)**으로 구성되며, CUDA 커널의 워프 레인 쓰기 방식에 의존하는 복잡한 메모리 레이아웃을 가짐.
vLLM은 UCX, RDMA 등 전송 프로토콜은 추상화했지만 데이터 포맷 자체는 추상화하지 않아, Cerebras 런타임이 vLLM 스케줄러 객체를 재현하지 않고는 인터페이스를 구현할 수 없음.
AWS(Trainium→Cerebras)와 AMD(Helios→Cerebras)가 디스어그리게이트드 추론 제품을 출시했으나, 표준화된 ABI가 부재하여 벤더 간 캐시 전송이 어려운 상황임.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
