ReQAT, 4비트 양자화로 BF16 정확도 동등 수준 달성

R1-Qwen-14B 모델에서 NVFP4 W4A4KV4 양자화를 적용해 AIME-120 정확도 65.94% 달성함. 이는 BF16 전체 파인튜닝의 65.46%와 동등한 수준이며, 8K 토큰 환경에서 출력 토큰 처리량 3.05배 향상
150만 토큰 이상 분석 결과, FP4 양자화 오류는 모델이 가장 확신하는 저엔트로피 위치(숫자, 연산자)에서 주로 발생하며, 고엔트로피 분기점에서 발생하지 않음
프레임워크는 세 가지 구성 요소로 구성됨. 동일한 트레이스로 재학습하여 취약한 저엔트로피 예측을 타겟팅하는 Trace-Aligned QAT(TAQ), 토큰 중 엔트로피가 가장 낮은 75%의 분포를 선명하게 만드는 Selective Entropy Minimization(SEM), 그리고 레이어별 RoPE 스케일링 및 시프트를 보정하여 KV 캐시 양자화 오류를 최소화하는 Q-FIT
긴 출력의 처리량 향상은 KV 캐시 압축으로 인한 배치 크기 증가가 주요 원인임. BF16은 메모리 한계로 8K 토큰에서 256개 요청 배치 유지가 불가능한 반면, NVFP4는 이를 지원함

핵심 내용