AI BriefingQwen3.5-27B용 SAE 해석모듈 공개
Qwen/SAE-Res-Qwen3.5-27B-W80K-L0_100 · Hugging Face
·2026.05.03 06:45
핵심 내용
Qwen이 Qwen3.5-27B용 Top-K SAE 해석 모듈과 64개 레이어 체크포인트를 공개했다.
자세히 보기
Qwen이 Qwen-Scope를 공개했다. Qwen3와 Qwen3.5 계열 모델의 hidden layer에 Sparse Autoencoder(SAE) 를 넣어 내부 표현을 해석하고, 제어·분석·최적화에 활용할 수 있게 했다.
- 대상 베이스 모델: Qwen3.5-27B
- SAE width: 81,920
- hidden size: 5,120
- expansion factor: 16x
- Top-K: 100
- hook point: residual stream
- 적용 레이어: 0~63
각 레이어의 체크포인트는 layer{n}.sae.pt 형식의 PyTorch dict이며, W_enc, W_dec, b_enc, b_dec 4개 텐서를 담는다.
문서에는 residual stream을 훅으로 잡아 feature activation을 추출하는 예제와, app.py로 띄우는 Gradio 데모 실행 방법도 함께 제공된다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
