LLM 아키텍처의 최근 동향: KV 공유, mHC, 그리고 압축 어텐션

2026년 4~5월 공개된 주요 오픈 웨이트 LLM들이 장문 컨텍스트 처리 효율성에 집중하면서, KV 캐시 크기·메모리 트래픽·어텐션 비용을 줄이기 위한 새로운 아키텍처 기법들이 등장했다.

Gemma 4는 **계층 간 KV 공유(cross-layer attention)**를 도입해 후반부 레이어가 이전 레이어의 KV 텐서를 재사용하도록 했다. E2B는 35개 레이어 중 15개만 자체 KV를 계산하고 나머지는 재사용해 KV 캐시를 약 절반으로 줄였다. 128K 컨텍스트 기준 E2B는 2.7 GB, E4B는 6 GB 절감 효과를 보였다. **Per-layer embeddings(PLE)**로 메인 트랜스포머 연산은 작게 유지하면서 lookup 기반 임베딩 테이블로 capacity를 추가했다.

Laguna XS.2(Poolside)는 layer-wise attention budgeting을 적용해 레이어마다 쿼리 헤드 수를 차등 할당했다. 슬라이딩 윈도우 레이어는 KV 헤드당 8개, full attention 레이어는 6개 쿼리 헤드를 사용해 비싼 전역 어텐션에는 더 적은 예산을 배정했다.

ZAYA1-8B(Zyphra, AMD GPU 학습)는 **Compressed Convolutional Attention(CCA)**로 Q, K, V를 모두 압축한 뒤 압축된 잠재 공간에서 직접 어텐션을 수행한다. MLA와 달리 KV 캐시뿐 아니라 prefill·학습 시 어텐션 FLOPs까지 절감하며, 압축된 Q/K에 convolutional mixing을 적용해 로컬 컨텍스트를 보완했다.

DeepSeek V4는 두 가지 핵심 혁신을 도입했다:

• mHC(Manifold-Constrained Hyper-Connections): 단일 잔차 스트림을 여러 병렬 스트림으로 확장하되, 매핑을 doubly stochastic matrices 매니폴드에 제약해 스케일링 안정성을 확보했다. 7B 실험에서 FLOPs 거의 동일하게 유지하면서 학습 토큰 절반으로 baseline 도달

• CSA/HCA 압축 어텐션: 시퀀스 차원을 따라 압축해 여러 토큰을 더 적은 KV 엔트리로 요약했다. CSA는 4:1 압축에 희소 선택, HCA는 128:1 압축에 dense attention을 적용해 상호 보완했다. 1M 토큰 컨텍스트에서 V3.2 대비 V4-Pro는 FLOPs 27%, KV 캐시 10%, **V4-Flash는 FLOPs 10%, KV 캐시 7%**로 절감

모든 아키텍처는 총 파라미터 수를 줄이지 않으면서 장문 컨텍스트 추론 비용을 낮추는 데 초점을 맞췄다. 트랜스포머 기본 골격은 유지되지만 복잡도는 크게 증가해, 과거 PyTorch 50~100줄이던 구현이 현재는 약 10배 늘어났다.