sparse circuits를 통한 신경망 이해

현재의 neural networks는 수십억 개의 weights가 복잡하게 얽힌 밀집된 구조로 되어 있어, 인간이 그 동작 원리를 파악하기 매우 어렵다. 이를 해결하기 위해 모델의 내부 계산 과정을 역공학하는 mechanistic interpretability 연구가 진행되고 있다.

기존 방식은 복잡하게 얽힌 dense networks를 사후에 풀어내는 데 집중했지만, 본 연구는 처음부터 얽히지 않은 네트워크를 학습시키는 새로운 접근법을 제시한다. 핵심은 모델의 weights 대부분을 0으로 강제하여 뉴런 간의 연결을 최소화하는 sparse models를 학습시키는 것이다.

이러한 sparse models는 각 뉴런이 다음 레이어의 소수 뉴런하고만 연결되도록 제한한다. 실험 결과, 이렇게 학습된 모델은 특정 작업을 수행하는 데 필요한 작고 분리된 circuits를 포함하고 있어, 모델의 행동을 훨씬 더 명확하게 이해할 수 있었다.

연구진은 모델의 크기를 키우고 sparsity를 높임으로써, 성능을 유지하면서도 해석력을 높일 수 있는 경로를 확인했다. 이는 향후 더 거대한 AI 시스템의 메커니즘을 이해하는 데 중요한 발판이 될 것으로 기대된다.