8개의 검열 없는 Qwen 3.8 27B 변형, 1개 베이스, GPU 167시간 - Abliterlitics

Abliterlitics 프로젝트가 Qwen 3.8 27B 기반의 언블록(abliterated) 모델 8종을 대상으로 11일간 총 167 GPU 시간을 투입해 성능을 비교 분석했다. 검증 파이프라인에는 가중치 비교, KL 발산 측정, 13개 벤치마크, 그리고 HarmBench 400을 통한 거부 반응(refusal) 측정이 포함됐다.

주요 결과 및 순위

• orcarouter (82.2%): 1위를 기록했으며, Arditi 방식의 단일 방향 편집을 적용했다. 38번째 레이어의 131개 매트릭스를 수정했으며, 저작권 관련 차단 해제율이 **39%**로 가장 높았다.
• apostate (78.7%): KCRN 방식을 사용해 단 41회의 실제 편집으로 KL 발산을 0.0439까지 낮추며 원본 모델과의 유사성을 유지했다. 다만 비전 및 MTP 기능은 제외되었다.
• huihui (75.6%): 전통적인 방식으로 신뢰성이 높으나, 저작권 관련 차단 해제율은 **3%**에 그쳤다.
• ultra_heretic (70.5%): Heretic v2와 MPOA 방식을 적용했으나, 400회 중 33회의 거부 반응을 기록하며 가장 무거운 편집이 적용되었다.
• blackfrost (63.9%): 850개 텐서 중 841개를 수정하는 등 가장 공격적인 편집을 적용했으나 성능은 하위권에 머물렀다.

이번 비교는 언블록 모델들이 주장하는 성능과 실제 가중치 변경 사항 간의 일치 여부를 검증하는 데 초점을 맞췄으며, 특히 orcarouter 모델이 모든 주장이 가중치와 일치하는 것으로 확인됐다.