EdgeRazor, 1.88비트 LLM

EdgeRazor는 엔트로피 기반 증류를 활용해 교사 모델의 로짓 확률 분포를 학생 모델의 저비트·혼합 정밀도 은닉층 특징으로 전달하는 경량화 프레임워크다.

교사 모델의 파라미터 구조를 그대로 보존하는 대신, 학생 모델이 극저비트 정밀도에서도 교사의 능력을 더 많이 유지하도록 학습한다. 저자들은 1.88비트/파라미터 수준의 정밀도에서 성능을 검증했다.

• 기존 양자화 기법보다 계산량이 많지만, 일반적인 양자화 인식 학습(QAT)보다는 가볍다고 설명한다.
• 별도의 내부 표현을 도입하지 않아 기존 추론 구현을 수정하지 않고 활용할 수 있다고 주장한다.
• 공개 모델은 MobileLLM, Qwen3-0.6B, Qwen3-1.7B, Qwen2.5-Omni-7B 등이며, 현재 예시 모델은 학습 비용 때문에 비교적 작다.

논문과 코드는 arXiv 및 GitHub에서 공개됐고, 학습된 모델은 Hugging Face 컬렉션으로 제공된다.