Qwen-Scope: 지능을 해독하고 잠재력을 끌어내다

Qwen이 Qwen3와 Qwen3.5 계열 모델에 Sparse Autoencoder(SAE) 를 삽입·학습한 해석 도구 Qwen-Scope를 공개했다. SAE는 hidden layer의 밀집 표현을 희소하고 분리된 특징으로 분해해, 모델 내부 동작을 더 잘 이해하고 제어할 수 있게 한다.

공개된 가중치는 dense와 MoE 모델을 포함한 7개 LLM, 총 14세트의 SAE로 구성된다. 폭은 32K·64K·80K·128K, L0는 50/100으로 설계됐고, 대응 모델의 사전학습 데이터에서 0.5B 토큰을 샘플링해 학습했다. 넓은 특징 커버리지와 의미적으로 분명한 특징, 안정적인 학습을 함께 노린 구성이다.

활용 범위는 네 가지다.

• Inference: 자연어 지시 없이도 특징 활성화를 조절해 언어, 엔티티, 스타일 같은 출력을 목표대로 바꾼다.
• Data: 소량의 seed data만으로 특징을 골라 분류를 수행하고, 비활성 특징을 활용해 희귀 샘플을 합성해 long-tail 커버리지를 높인다. 효율은 기존 방식 대비 약 15배 개선된다고 설명한다.
• Training: 코드 스위칭, 반복 생성 같은 이상 활성화를 찾아 SFT에서는 손실함수를 조정하고, RL에서는 드문 실패 사례를 더 잘 샘플링하도록 만든다.
• Evaluation: 테스트셋과 벤치마크의 특징 커버리지를 비교해 중복 평가와 커버리지 공백을 찾아낸다.

Qwen은 Qwen-Scope가 단순한 해석 도구를 넘어, inference, data, training, evaluation 전반을 개선하는 모델 개발 도구가 될 수 있다고 강조했다. 데모는 Hugging Face와 ModelScope에서 체험할 수 있다.