AI Briefing

Qwen3.8-27B-GSQ-RCO-GGUF: 27B LLM을 IQ2_XS까지 초저용량으로 압축한 GGUF

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

·2026.09.02 05:19

Qwen3.8-27B 모델이 GSQ와 RCO 기법을 적용한 GGUF 형식으로 배포됐다. IQ2_S부터 IQ3_XXS까지 다양한 양자화 버전을 제공해, 제한된 하드웨어에서도 대형 언어 모델을 구동할 수 있는 환경을 마련한다.

imatrix 기반의 mixed-precision 양자화가 적용되어 용량 절감과 성능 유지 사이의 균형을 꾀했다. MTP(Multi-Token Prediction) 지원 파일도 함께 포함되어 추론 속도를 높이는 데 유리하다.

llama.cpp, vLLM, Ollama 등 주요 추론 엔진과 호환된다. Apache 2.0 라이선스로 공개되어 상업적 활용 및 커스텀 파이프라인 구축에 제약이 적다.

HuggingFace
HuggingFace 모델

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

원문에 등록된 설명이 없습니다.

image-text-to-text

이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 소개 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.