모델 규모에 따른 'Rosetta 뉴런'의 특성 변화 연구

연구진은 서로 다른 신경망 전반에 걸쳐 공통적으로 나타나는 **'Rosetta 뉴런(Rosetta Neurons)'**의 특성을 분석했습니다.

주요 연구 결과는 다음과 같습니다:

• 규모에 따른 변화: Rosetta 뉴런의 수는 모델 규모에 따라 하위 선형(sublinear) 멱법칙을 따르며 증가하지만, 전체 뉴런 중 차지하는 비율은 점차 감소합니다.
• 전문성 강화: 모델의 규모가 커질수록 Rosetta 뉴런은 더욱 **선택적(selective)**이고 **단일 의미적(monosemantic)**이며, 특정 기능에 **전문화(specialized)**되는 경향을 보입니다.
• 데이터 필터링 활용: 단일 Rosetta 뉴런을 활용하여 **지속적 사전 학습(continued pretraining)**을 위한 데이터를 필터링할 경우, 오라클(Oracle) 데이터 필터링 방식과 거의 유사한 성능을 낼 수 있음을 확인했습니다.