텐센트, Hy4 Preview 770B 모델 214 GiB로 압축

텐센트 혼위안 양자화 팀이 Sherry 알고리즘을 개발해 Hy4 Preview 770B 파라미터 모델을 약 1.5TB에서 214 GiB로 압축했다. 가중치 표현 방식을 변경해 모든 770B 파라미터를 유지하며, 새로운 저장 형식 STQ1_0과 혼합 정밀도 전략 MIX-STQ1_0을 활용했다.

양자화 기술

핵심은 4개 가중치를 5비트로 인코딩하는 삼진 패턴이다. 4개 가중치 그룹이 {-d, 0, +d} 값을 가지며 정확히 하나의 0을 포함해 32개 패턴을 생성하고, 가중치당 1.25비트를 달성한다. 256개 가중치마다 공유 FP16 스케일을 적용한 STQ1_0 형식은 가중치당 평균 1.3125비트를 기록하며, 전체 혼합 정밀도 모델은 약 2.38비트다.

민감도 및 정밀도 할당

Full-Hessian 스코어링($H = XX^T$)으로 측정된 가중치 민감도에 따라 정밀도를 할당한다. Hy4 Preview 모델은 77개 MoE 레이어와 각 256개 라우팅 전문가를 포함한다. 전문가 가중치는 가장 강하게 압축되지만, 민감한 구성 요소는 보호된다.

• 전문가 게이트/업 투영: MIX-STQ1_0은 48개 민감 레이어에 IQ2_XXS를, 29개 덜 민감 레이어에 STQ1_0을 적용한다.
• 최적화: 이 선택적 접근 방식은 동일한 평균 비트 예산에서 중간 형식 IQ1_M을 전체에 적용했을 때보다 오류가 적다.

성능 및 런타임

양자화는 학습 후(post-training) 수행되어 재학습이 필요 없다. 인코더는 가중 최소 제곱으로 스케일 $d$를 피팅하고 imatrix 가중 오차로 0 위치를 선택하는 과정을 반복한다. 실제 전문가 가중치 1,200개 행에서 3번의 반복 라운드는 원본 삼진 인코더 대비 가중 재구성 오차를 약 90% 줄였다.

• 추론 속도: 패치된 llama.cpp 빌드에 추가된 STQ1_0 CUDA 커널은 더 낮은 비트 폭에도 불구하고 IQ1_M과 거의 동일한 속도로 실행된다.
• 정확도: MRCR 검색 성능은 거의 변화가 없고 수학 작업에서 소폭 감소했다. 유사한 비트 예산의 UD-IQ1_M 대비 MIX-STQ1_0은 보고된 모든 평가에서 우위를 점했으며, MRCR에서 5점 이상의 향상폭을 보였다.