EdgeRazor: 1.58-bit 양자화 지원 경량 LLM 프레임워크
EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation - 1.58-bit
·2026.06.25 01:31
EdgeRazor는 다양한 하드웨어에 배포 가능한 혼합 정밀도 양자화 증류 기반의 LLM 경량화 프레임워크이다.
EdgeRazor는 모바일, 에지 엔드포인트, 클라우드 등 다양한 환경에 배포 가능한 경량 LLM 학습 프레임워크입니다. 기존의 Full-precision 학습 파이프라인에 최소한의 코드 수정만으로 통합할 수 있어 효율적입니다.
주요 특징은 다음과 같습니다:
- 양자화 지원: 가중치(Embedding, lm_head 포함), 활성화 함수(Activation), KV Cache에 대한 양자화를 지원합니다.
- 혼합 정밀도(Mixed-Precision): 1.58-bit 및 4-bit 균일 양자화뿐만 아니라, 2.79-bit, 1.88-bit와 같은 Matrix-wise 혼합 정밀도를 지원하여 성능과 효율성을 최적화합니다.
- 유연한 증류(Distillation): Logits, Features, Attention 증류를 통합된 인터페이스를 통해 자유롭게 조합하여 사용할 수 있습니다.
현재 GitHub와 Hugging Face를 통해 소스 코드와 양자화된 모델 컬렉션이 공개되어 있습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.