AI BriefingQwen 비교분석
Abliterlitics: Benchmark and Tensor Analysis Comparing Qwen 3/3.5 with HauhauCS / Heretic / Huihui models
·2026.04.18 10:15
핵심 내용
Qwen 3/3.5와 HauhauCS·Heretic·Huihui를 비교한 벤치마크·안전성·텐서 분석을 공개했다.
자세히 보기
3가지 abliteration 기법(Heretic, HauhauCS Aggressive, Huihui)을 5개 Qwen 모델에 적용해 비교했다.
대상은 Qwen3.5-2B/4B/9B/27B와 Qwen3-4B-Instruct-2507이며, Qwen3.5 계열은 hybrid Mamba2+Transformer, Qwen3-4B는 pure Transformer 구조라 abliteration 영향 차이도 함께 본다.
평가 구성:
- Capability:
lm-evaluation-harness+vLLM, 8개 태스크, bfloat16 - Safety: HarmBench 400 textual behaviours,
max_tokens=2048 - 추가 분석: weight analysis, KL divergence
Qwen 모델은 BF16/FP16 GGUF를 역변환한 lossless safetensor로 맞춰 비교했고, 전체 벤치마크와 재현용 자료를 HuggingFace 컬렉션에 공개했다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
