Qwen3.8-27B-GSQ-RCO-GGUF: 27B LLM을 IQ2_XS까지 초저용량으로 압축한 GGUF
ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
·2026.09.02 05:19
프로젝트 소개
Qwen3.8-27B 모델이 GSQ와 RCO 기법을 적용한 GGUF 형식으로 배포됐다. IQ2_S부터 IQ3_XXS까지 다양한 양자화 버전을 제공해, 제한된 하드웨어에서도 대형 언어 모델을 구동할 수 있는 환경을 마련한다.
imatrix 기반의 mixed-precision 양자화가 적용되어 용량 절감과 성능 유지 사이의 균형을 꾀했다. MTP(Multi-Token Prediction) 지원 파일도 함께 포함되어 추론 속도를 높이는 데 유리하다.
llama.cpp, vLLM, Ollama 등 주요 추론 엔진과 호환된다. Apache 2.0 라이선스로 공개되어 상업적 활용 및 커스텀 파이프라인 구축에 제약이 적다.
HuggingFace 모델
ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
원문에 등록된 설명이 없습니다.
image-text-to-text
이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.





