LLM 아키텍처의 최근 동향: KV 공유, mHC, 압축 Attention

최근 공개된 오픈웨이트 LLM들은 장문 컨텍스트 효율에 초점을 맞추고 있다. 에이전트와 추론형 워크플로우가 토큰을 오래 붙잡을수록 KV-cache 크기, 메모리 트래픽, attention 비용이 병목이 되기 때문이다.

데이터셋 구성, 학습 스케줄, post-training, RL 레시피, 벤치마크는 건너뛰고, transformer block, residual stream, KV-cache, attention 계산 안에서 바뀐 설계만 본다. 겉으로는 작은 도식 차이처럼 보이지만, 실제 목표는 장문 처리 비용을 줄이는 구조적 변경이다.

핵심 사례는 다음과 같다.

• Gemma 4 E2B/E4B는 shared KV cache와 per-layer embeddings를 도입해 뒤쪽 layer가 앞쪽 layer의 key-value state를 재사용한다. 이 방향은 cross-layer attention 연구와 맞닿아 있고, 기존 GQA가 KV head를 공유하던 흐름을 더 확장한 셈이다.
• Gemma 4 제품군은 모바일·임베디드용 E2B/E4B, 효율적 로컬 추론용 26B MoE, 품질과 post-training 편의성을 노린 31B dense로 나뉜다.
• Laguna XS.2는 layer-wise attention budgeting으로 각 layer의 attention 자원을 다르게 배분한다.
• ZAYA1-8B는 compressed convolutional attention을 채택한다.
• DeepSeek V4는 mHC와 compressed attention을 결합한다.

결국 최근 LLM 아키텍처의 공통 방향은 더 큰 모델을 만드는 데서, 더 적은 메모리로 더 긴 컨텍스트를 처리하는 설계로 이동하고 있다.