Gemma·Qwen KV 캐시 비교

q8_0 KV 캐시와 q4_0 KV 캐시를 f16 기준선과 비교한 결과, 모델별 민감도가 크게 갈렸다.

• Gemma 4는 q8_0에서도 품질 저하가 뚜렷했고, q4_0에서는 더 크게 무너졌다.
• Qwen 3.6은 q8_0에서 KL 0.04 미만 수준을 유지했고, q4_0도 일부 구간을 제외하면 실사용 가능한 수준으로 측정됐다.
• 특히 **Gemma 4 26B A4B(MoE)**는 이번 테스트에서 가장 민감했으며, q8_0 캐시가 KL 0.377, q4_0는 KL 1.088까지 악화됐다.
• 반면 **Qwen 3.6 35B A3B(MoE)**는 MoE 구조에서도 같은 수준의 증폭 현상이 보이지 않았다.

카테고리별로는 Gemma가 전반적으로 고르게 저하된 반면, Qwen은 긴 문서와 도구 호출에서 손실이 집중됐다.

측정은 BF16 GGUF, 같은 머신, 동일 데이터셋 조건에서 f16 캐시 / q8_0 / q4_0만 바꿔 수행했으며, 약 25만 토큰, 6개 카테고리, KL divergence로 token-by-token 비교했다.