OCTOPUS: 최적 제곱 오차 양자화와 팔면체 매개변수화를 이용한 트랜스포머 KV Cache 최적화

긴 문맥(long-context)을 처리하는 자기회귀 추론에서 KV Cache는 메모리 대역폭과 점유 공간의 대부분을 차지하는 핵심 요소다. 기존의 TurboQuant나 PolarQuant와 같은 회전 전처리 코덱은 구조화된 무작위 회전과 스칼라 양자화를 결합하여 효율적인 압축을 시도해 왔다.

OCTOPUS는 회전된 좌표 삼중항(triplet)을 결합 양자화하는 방식을 통해 이 패러다임을 한 단계 진화시켰다. 각 삼중항의 방향을 **팔면체 매개변수화(octahedral parameterization)**를 통해 사각형으로 매핑하며, 결과로 도출된 두 좌표와 삼중항 노름(norm)에 대해 Lloyd-Max 양자화를 적용한다.

OCTOPUS의 주요 특징은 다음과 같다:

• 최적 비트 할당: 삼중항별 제곱 오차를 최적화하여 전체 차원에 따라 비트 할당을 비균등하게 조절한다.
• 데이터 독립성: 데이터에 의존하지 않는(data-oblivious) 온라인 방식이며, 시드값이 주어지면 결정론적(deterministic)으로 동작한다.
• 탁월한 압축 성능: 텍스트, 비디오, 오디오 전 분야에서 기존 회전 코덱보다 우수한 성능을 보이며, 특히 저비트 압축 환경에서 격차가 더 커진다.

또한, Triton 기반의 융합(fused) 구현을 통해 압축되지 않은 키를 별도로 생성하지 않고도 실시간으로 키를 재구성할 수 있다. 이를 통해 기존 역양자화(dequantization) 대비 추가적인 대역폭 소모나 지연 시간 없이 효율적인 추론이 가능하다.