AI BriefingPACE, 선형 어텐션 LLM 4비트 양자화 달성
[Paper] PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
·2026.10.23 14:35
핵심 내용
PACE는 4비트 양자화에서도 8비트와 동등한 성능을 달성했다
자세히 보기
- 선형 어텐션 기반 LLM을 위한 사후 4비트 상태 양자화기 PACE를 제안하여 메모리 사용량을 줄이면서 정확도를 유지함
- 모든 토큰마다 라운딩하는 대신 몇 토큰 간격으로만 재귀 상태를 라운딩하고, 중간 토큰을 소형 버퍼에 저장하여 누적 오차를 줄임
- 게이트 델타 상태의 큰 값을 처리하기 위해 열 단위로 양자화 스케일을 공유하고, 라운딩 오차 유지 시간이 가장 긴 헤드는 8비트로 유지함
- 4B에서 35B 파라미터에 이르는 4가지 하이브리드 모델에서 4비트와 8비트 헤드를 혼합한 PACE는 8비트 DAMP와 경쟁력을 보이며 메모리는 약 3분의 2 수준임
- 전체 헤드를 4비트로 설정한 PACE는 동일한 메모리 조건에서 Q-Mamba보다 높은 점수를 기록하며, 주기적 라운딩 방식은 버퍼의 디코딩 속도 향상을 유지함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
