AI BriefingGoodfire, LLM 해석 가능성의 핵심은 뉴런이라고 주장
·2026.11.10 09:00
핵심 내용
Goodfire 연구, 뉴런이 LLM 해석 가능성의 핵심 기반임을 입증했다
자세히 보기
- MLP 중간 레이어의 뉴런은 분산 방향이나 학습된 특징 공간보다 해석 가능성의 더 적절한 기반이며, 강한 활성화는 계산에 필수적이지만 약한 활성화는 생략 가능함
- MoE 뉴런 활성화 중 가장 약한 92.2%를 제거하고(레이어당 상위 320개만 유지)도 언어 모델 손실은 2.9%만 증가하며, MMLU -1.2pp, GSM8K -1.7pp 등 벤치마크 변동은 미미함
- 대부분의 뉴런은 단일 계산 모드로 작동하며, 한 모드가 인과적 영향의 90% 이상을 차지함. 이러한 모드의 자연어 설명을 통해 강한 활성화 시 뉴런 발화 예측 정확도가 95%에 달함
- 사회 맥락에서 'dance floor' 토큰을 예측하는 서브서킷, 코드에서 camelCase 식별자 부분어를 감지하는 서브서킷 등 뉴런이 명확하고 해석 가능한 개별 계산 기능을 수행함을 확인함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
