Transformer에 세 개의 프로젝션이 꼭 필요할까? QKV 변형에 대한 체계적 연구

Transformer의 핵심인 QKV(Query, Key, Value) 어텐션 구조에서 각 프로젝션의 개별 기여도를 분석하고, 이를 공유했을 때의 성능 변화를 체계적으로 연구했다.

연구진은 세 가지 프로젝션 공유 제약 조건을 평가했다:

• Q-K=V (Key-Value 공유)
• Q=K-V (Query-Key 공유)
• Q=K=V (단일 프로젝션)

실험 결과, Q-K=V 방식은 언어 모델링에서 퍼플렉서티(Perplexity) 저하를 단 **3.1%**로 유지하면서 KV 캐시를 50% 절감하는 성과를 보였다.

특히 이 방식은 기존의 효율적 어텐션 기법들과 결합했을 때 극적인 메모리 절감 효과를 나타냈다:

• Q-K=V + GQA-4: KV 캐시 87.5% 감소
• Q-K=V + MQA: KV 캐시 96.9% 감소

이러한 효율성은 키(Key)와 값(Value)이 유사한 표현 공간을 점유하고, 어텐션 연산이 저차원(low-rank) 영역에서 이루어진다는 특성 덕분에 가능하다. 이번 연구는 온디바이스(on-device) 및 엣지 디바이스를 위한 효율적인 LLM 추론 모델 설계에 중요한 근거를 제시한다.