Qwen3.5-27B용 SAE 해석모듈 공개
Qwen/SAE-Res-Qwen3.5-27B-W80K-L0_100 · Hugging Face
·2026.05.03 06:45
Qwen이 Qwen3.5-27B용 Top-K SAE 해석 모듈과 64개 레이어 체크포인트를 공개했다.
Qwen이 Qwen-Scope를 공개했다. Qwen3와 Qwen3.5 계열 모델의 hidden layer에 Sparse Autoencoder(SAE) 를 넣어 내부 표현을 해석하고, 제어·분석·최적화에 활용할 수 있게 했다.
- 대상 베이스 모델: Qwen3.5-27B
- SAE width: 81,920
- hidden size: 5,120
- expansion factor: 16x
- Top-K: 100
- hook point: residual stream
- 적용 레이어: 0~63
각 레이어의 체크포인트는 layer{n}.sae.pt 형식의 PyTorch dict이며, W_enc, W_dec, b_enc, b_dec 4개 텐서를 담는다.
문서에는 residual stream을 훅으로 잡아 feature activation을 추출하는 예제와, app.py로 띄우는 Gradio 데모 실행 방법도 함께 제공된다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.