AI BriefingVHA, KV 캐시 4배 줄이고 품질 높였다
[Paper] Virtual Head Attention
·2026.10.24 00:59
핵심 내용
VHA가 30B MoE 모델에서 KV 캐시 4배 절감과 품질 향상을 달성했다
자세히 보기
- 긴 컨텍스트 LLM에서 KV 캐시 크기, 연산량, 품질 간 트레이드오프를 해결하기 위해 Virtual Head Attention(VHA) 제안함
- 30B-A3B MoE 모델 기준 12개 벤치마크 스위트에서 GQA-4 대비 +2.60%, MLA 대비 +0.70% 성능 향상 달성함
- Dense 규모에서 GQA-8 대비 4배, MoE 규모에서 GQA-4 대비 2배 KV 캐시 감소 구현함
- 1.7B 파라미터 규모, 4096 컨텍스트 길이에서 학습 및 프리필 FLOPs를 7.9% 절감함
- 비선형 연산 없이 Q Premix와 Linear Postmix를 활용해 절반으로 줄인 쿼리 헤드의 다양성 회복함
- 추론 시 표준 GQA-2 아키텍처로 축소되어 기존 GQA 최적화 재사용 및 그룹 크기 64 기반 Tensor Core 병렬성 활용함
- 10B-A1B MoE 비교에서 8K-128K 컨텍스트 구간 평균 RULER 점수 84.4 기록, GQA는 73.0 기록함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
