Qwen3.8-27B-Ridge-GGUF: 12.6GB GGUF로 이미지까지 읽는 로컬 멀티모달

Qwen3.8-27B 모델의 GGUF 양자화 버전으로, 이미지와 텍스트를 동시에 이해하는 멀티모달 추론을 수행한다. Apache-2.0 라이선스로 배포되어 상업적 활용이 가능하며, 영어와 중국어 두 언어를 지원한다.

llama.cpp, vLLM, Ollama 등 다양한 로컬 추론 프레임워크와 호환되어 GPU 없이도 CPU 기반에서 실행할 수 있다. 특히 llama.cpp를 통해 OpenAI 호환 API 서버를 띄우거나 터미널에서 직접 추론을 수행하는 것이 가능하다.

Gated-DeltaNet 아키텍처와 MTP(Multi-Token Prediction) 기술을 적용해 기존 방식보다 효율적인 추론을 제공한다. xhigh, medium, low 세 단계의 reasoning effort를 설정할 수 있어 작업 난이도에 맞춰 사고 깊이를 조절할 수 있다.

로컬 환경에서 프라이버시를 유지하면서 멀티모달 AI를 구축하려는 개발자에게 적합하다. 12.6GB 용량의 GGUF 파일과 mmproj 파일을 함께 제공하여 비전 모델 구성이 용이하다.