NVFP4 증류, 내부 기하 보존

저비트 추론을 위한 **NVFP4 양자화 인지 증류(QAD)**에서 출력 분포만 맞추면 모델 내부 표현이 크게 훼손될 수 있다는 분석이 제시됐다.

연구진은 CKA로 BF16 교사 모델과 양자화 학생 모델의 층별 표현 유사도를 측정한 결과, KL 손실만 사용하는 QAD에서 내부 표현의 기하가 무너지는 현상을 확인했다. 특히 강화학습 후처리 모델에서 드리프트가 심했으며, 이는 추론·코딩 과제의 성능 병목과 연관됐다.

이를 해결하기 위해 층별 Gram 행렬을 정렬하는 CKA-QAD 정규화 기법을 제안했다. Nemotron 3 Nano와 Qwen3-4B-Thinking-2507 실험에서 내부 표현 정렬과 downstream 추론·코딩 정확도를 높이면서도 학습 오버헤드는 modest한 수준으로 유지했다.