GLM-5.3-UNCENSORED-EXL3-3.0bpw: 3.0bpw 양자화로 GLM-5.3 MoE 모델의 메모리 부담 낮추기

GLM-5.3 UNCENSORED 모델을 EXL3 형식으로 3.0bpw(bit per weight)까지 압축해 배포한다. exllamav3 라이브러리를 기반으로 동작하며, MoE(Mixture of Experts) 구조의 장점을 유지하면서 추론 시 필요한 VRAM 용량을 크게 줄인다.

fp8 원본 모델 대비 파일 크기가 약 146GB로 축소되어, 고사양 GPU 없이도 대화형 텍스트 생성이 가능해진다. 필터링이 제거된 uncensored 버전의 특성을 그대로 계승해 자유로운 응답 생성에 초점을 맞췄다.

개인용 워크스테이션이나 제한된 하드웨어 환경에서 대규모 언어 모델을 실행하려는 사용자에게 적합하다. MIT 라이선스로 공개되어 상업적 활용 및 수정이 자유로우며, 로컬 추론 성능과 메모리 효율 사이의 균형을 중시하는 개발자에게 유용하다.