TurboQuant: 첫 원리부터 따라가는 해설

벡터 양자화의 기본 아이디어를 MSE, inner product, unbiased estimator, rotation, CLT, 고차원 집중 현상까지 차례로 풀어가며 설명한다.

핵심은 고차원 벡터를 b비트/좌표로 저장하면서도 복원 품질을 유지하는 방법이다. 단순한 균일 그리드는 2D, 3D에서는 직관적이지만, 실제 임베딩처럼 특정 좌표에 값이 몰린 outlier channel에는 취약하다.

• 전통적인 per-block quantizer는 블록마다 scale + zero-point 메타데이터를 붙여 outlier를 흡수한다.
• 하지만 이 방식은 16~64개 값마다 **float16 2개(32비트)**를 추가로 저장해야 해, 명목상 3비트 양자화가 실제로는 4~5 bits/value로 불어난다.
• TurboQuant은 벡터를 랜덤 orthogonal rotation으로 섞어 스파이크를 분산한 뒤, 하나의 고정 grid로 좌표별 양자화를 적용한다.

회전은 길이와 inner product를 보존하므로, 왜곡은 오직 양자화 단계에서만 생긴다. 저자는 이 방식이 calibration set 없이, per-block header 없이, 데이터 비의존적으로 동작하면서도 기존 per-block 방식과 비슷한 복원 품질을 목표로 한다고 정리한다.