Qwen3.8-27B 검열 제거 MLX 모델 공개

Qwen/Qwen3.8-27B 모델의 Abliterated(검열 제거) 빌드를 애플 실리콘(Apple Silicon)에서 사용할 수 있도록 MLX 형식으로 양자화하여 공개했다.

이 모델은 잔차 스트림(residual stream)에서 거절 방향을 직교화(orthogonalizing)하여 거절 메커니즘을 제거했다. 이에 따라 원래 모델이 거부할 수 있는 유해하거나 비윤리적인 요청에도 응답하며, 이는 AI 안전성 연구, 레드팀 테스트, 거절 메커니즘 연구를 목적으로 한다.

주요 기술 사양 및 특징:

• 멀티모달 유지: 비전 타워, 노름(norms), 컨볼루션 레이어는 BF16 정밀도를 유지하며, 언어 모델의 선형 가중치만 양자화하여 성능 저하를 최소화했다.
• 다양한 양자화: 2, 4, 6, 8비트 정밀도를 제공하며, 4비트 빌드는 LM Studio 등에서 즉시 로드 가능하도록 루트 디렉토리에 배치되었다.
• 성능: 단일 H200(MLX CUDA 백엔드) 기준 약 32~37 tok/s의 속도를 보이며, Apple Silicon의 Metal 환경에 최적화되어 있다.

주의사항: 검열이 제거되어 악성 코드 생성, 허위 정보 생성 등의 위험이 존재하므로, 반드시 연구 및 실험 용도로만 사용해야 하며 배포 시 별도의 안전 계층을 추가해야 한다.