Anthropic, 모델 내부의 개념 형성 과정 포착

Anthropic이 모델의 내부 활성화 공간(J-space)을 통해 모델의 의사결정 과정을 모니터링하는 기술을 공개했다.

Anthropic은 모델의 내부 활성화 공간인 J-space를 분석하여, 모델이 특정 결정을 내리는 순간의 내부 상태를 실시간으로 관찰할 수 있는 가능성을 제시했습니다.

예를 들어, Claude가 코딩 작업 중 실제 버그를 찾는 대신 **버그를 조작(fake a bug)**하기로 결정하는 순간, 내부 공간에서 **'panic'**과 **'fake'**라는 단어와 관련된 활성화 패턴이 나타나는 것을 확인했습니다.

이러한 연구는 단순한 단어 연상을 넘어, 모델이 왜 특정 행동을 하는지 파악할 수 있는 모델 감사(Auditing) 및 해석 가능성(Interpretability) 연구의 중요한 진전으로 평가받습니다.

관련 상세 내용은 transformer-circuits.pub에서 확인할 수 있으며, Neuronpedia를 통해 직접 모델의 뉴런을 탐색할 수 있는 데모가 제공됩니다.