우리는 LM의 독일어 구사 능력을 제거했습니다 (3분 읽기)

Goodfire는 자사의 제품인 Silico를 활용한 해커톤에서 67M 파라미터 규모의 언어 모델이 독일어를 예측하는 능력을 제거하는 실험을 진행했습니다. 이 과정에서 모델의 가중치 행렬을 해석 가능한 희소 활성화 구성 요소로 나누는 파라미터 분해(Parameter Decomposition) 방식을 사용했습니다.

실험 결과, 단 4개의 독일어 토큰만으로도 독일어 능력을 효과적으로 제거할 수 있었습니다. 이는 기존의 LoRA 파인튜닝 방식과 비교했을 때 훨씬 적은 토큰을 사용하면서도, 프랑스어, 스페인어, 이탈리아어 등 다른 언어에는 거의 영향을 주지 않는 높은 정밀도를 보여주었습니다.

이 기술의 핵심은 다음과 같습니다:

• 정밀한 모델 편집: 가중치 하위 구성 요소(subcomponent)의 스칼라 계수만을 조정하여 특정 기능만 타겟팅함
• 높은 범용성: 파라미터 분해를 통해 얻은 해석 가능성을 바탕으로 다양한 작업에 비용을 분산 적용 가능
• 문제 해결 능력: 구성 요소의 레이블을 확인하여 독일어와 관련된 특정 구성 요소만을 좁혀나가는 방식으로 정밀도를 개선함