Qwen3.8-27B-Uncensored-GGUF: 안전 필터 없는 27B 로컬 LLM, Apache-2.0
JonathanColetti/Qwen3.8-27B-Uncensored-GGUF
프로젝트 소개
Qwen3.8-27B 아키텍처를 기반으로 한 텍스트 생성 모델이다. 'Uncensored' 버전으로, 기존 모델의 안전성 필터나 제한이 없는 상태로 배포되어 다양한 주제에 대한 자유로운 응답을 생성한다. Apache-2.0 라이선스를 적용하여 상업적 목적을 포함한 폭넓은 활용이 가능하다.
모델은 llama.cpp, vLLM, Ollama 등 주요 로컬 추론 프레임워크와 호환되는 GGUF 형식으로 제공된다. IQ2_M부터 Q8_0까지 다양한 양자화 레벨이 포함되어 있어 하드웨어 사양에 따라 메모리 사용량을 조절할 수 있다. 특히 MTP(Multi-Token Prediction)와 speculative decoding을 지원하여 추론 속도를 높이는 데 특화되어 있다.
일반적인 대화형 LLM과 달리 특정 주제에 대한 답변 거절이나 경고 문구 삽입이 최소화되어 있다. 개발자가 직접 프롬프트 엔지니어링을 통해 원하는 출력 형식을 제어할 수 있으며, 도구 호출(Tool Calling) 및 함수 호출 기능도 템플릿에 포함되어 있어 에이전트 기반 애플리케이션 구축에 적합하다.
클라우드 API 의존성을 줄이고 데이터 프라이버시를 유지하면서 고성능 LLM을 구동해야 하는 개발자에게 적합하다. 로컬 머신에서 OpenAI 호환 API 서버를 띄워 기존 코드베이스에 쉽게 통합할 수 있으며, 영문과 중문 두 가지 언어를 지원한다.
JonathanColetti/Qwen3.8-27B-Uncensored-GGUF
원문에 등록된 설명이 없습니다.
text-generation
이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.