EdgeRazor, 1.88비트 LLM
[Paper] EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation
·2026.08.03 04:55
EdgeRazor가 1.88비트 정밀도에서도 교사 LLM의 성능 보존을 개선했다.
EdgeRazor는 엔트로피 기반 증류를 활용해 교사 모델의 로짓 확률 분포를 학생 모델의 저비트·혼합 정밀도 은닉층 특징으로 전달하는 경량화 프레임워크다.
교사 모델의 파라미터 구조를 그대로 보존하는 대신, 학생 모델이 극저비트 정밀도에서도 교사의 능력을 더 많이 유지하도록 학습한다. 저자들은 1.88비트/파라미터 수준의 정밀도에서 성능을 검증했다.
- 기존 양자화 기법보다 계산량이 많지만, 일반적인 양자화 인식 학습(QAT)보다는 가볍다고 설명한다.
- 별도의 내부 표현을 도입하지 않아 기존 추론 구현을 수정하지 않고 활용할 수 있다고 주장한다.
- 공개 모델은 MobileLLM, Qwen3-0.6B, Qwen3-1.7B, Qwen2.5-Omni-7B 등이며, 현재 예시 모델은 학습 비용 때문에 비교적 작다.
논문과 코드는 arXiv 및 GitHub에서 공개됐고, 학습된 모델은 Hugging Face 컬렉션으로 제공된다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.