GLM-5.3-SLIM-GGUF: GLM-5.3 SLIM, 180GB GGUF로 로컬 구동

GLM-5.3 기반의 Mixture of Experts 모델이 GGUF 포맷으로 제공된다. llama.cpp 생태계에서 바로 실행할 수 있도록 최적화된 파일 구성을 갖추고 있다. 텍스트 생성 및 대화형 인터랙션에 초점을 맞춘 모델이다.

전체 파일 크기가 약 180GB에 달하는 대형 모델이다. UD-IQ2_M 양자화 버전을 제공하여 메모리 효율성을 고려한 로컬 추론이 가능하다. imatrix 기반의 양자화 처리가 적용되어 있다.

llama.cpp, LM Studio, Jan, vLLM 등 주요 로컬 추론 프레임워크와 호환된다. OpenAI 호환 서버로 구동하거나 터미널에서 직접 클라이언트로 실행할 수 있다. Docker 환경에서도 컨테이너 명령어로 바로 배포할 수 있다.

영어와 중국어를 지원하며, glm-5.3 라이선스 하에 배포된다. 대규모 파라미터 모델을 개인용 하드웨어나 소규모 서버에서 테스트하거나 활용하려는 개발자에게 적합하다. 고사양 GPU 환경에서의 로컬 LLM 실험에 사용된다.