Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF: 27B급 추론 성능을 IQ2 양자화로 구현한 GGUF
ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF
·2026.09.30 20:57
프로젝트 소개
Qwen3 기반의 27B 파라미터 모델을 IQ2_S, IQ3_S 등 초저용량 양자화 버전으로 제공한다. 총 파일 크기는 약 9.2GB 수준으로, 제한된 VRAM 환경에서도 대규모 언어 모델의 추론 기능을 수행할 수 있게 설계됐다.
GSQ 및 RCO 기법을 적용해 양자화 과정에서 발생하는 성능 저하를 최소화했다. 특히 reasoning과 efficient-thinking 태그를 지원해 복잡한 논리 추론이나 토큰 효율성이 중요한 작업에 적합하다.
llama.cpp, vLLM, Ollama 등 주요 추론 엔진과 호환된다. imatrix 데이터를 포함하고 있어 저비트 양자화에서도 모델의 품질을 유지하며, swift-open-license-1.0 라이선스로 배포된다.
HuggingFace 모델
ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF
원문에 등록된 설명이 없습니다.
text-generation
이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.