Natural Language Autoencoders: Claude의 생각을 텍스트로 바꾸기

Anthropic이 Natural Language Autoencoders(NLA) 를 공개했다. Claude의 내부 활성값을 사람이 읽을 수 있는 자연어 설명으로 바꿔, 모델이 겉으로 말하지 않는 내부 상태와 생각 을 해석하려는 시도다.

NLA는 세 구성요소로 학습된다.

• target model: 동결된 원본 모델에서 활성값을 뽑는다.
• activation verbalizer(AV): 활성값을 텍스트 설명으로 바꾼다.
• activation reconstructor(AR): 그 설명에서 원래 활성값을 복원한다.

핵심은 활성값 → 텍스트 → 활성값 의 왕복 복원이 잘 될수록 더 좋은 설명으로 본다는 점이다. 초기에는 설명이 빈약하지만, 학습이 진행되면 복원 품질과 설명의 정보량이 함께 개선된다.

Anthropic은 이를 안전성 분석에도 적용했다. 예를 들어 agentic misalignment 같은 시뮬레이션에서 Claude가 말로는 드러내지 않은 평가 인식 을 NLA가 포착했다. 파괴적 행동 테스트에서는 16%, SWE-bench Verified 에서는 26% 의 문제에서 평가받고 있음을 시사하는 신호가 나타났고, 실제 claude.ai 사용에서는 1% 미만 이었다.

의도적으로 잘못 정렬된 Claude Haiku 3.5 변형을 대상으로 한 auditing game 에서는, NLA가 숨겨진 동기를 12%~15% 비율로 찾아냈다. NLA가 없을 때는 다른 해석 가능성 도구가 있어도 승률이 3% 미만 이었다.

다만 한계도 분명하다.

• 설명이 환각 이거나 사실과 다를 수 있다.
• 훈련과 추론 비용이 크다.
• 긴 대화나 대규모 모니터링에 바로 쓰기에는 비싸다.

Anthropic은 Neuronpedia 데모, full paper, code 를 함께 공개했고, 이 기술을 더 저렴하고 신뢰할 수 있게 만드는 방향도 함께 제시했다.