Claude의 생각을 텍스트로 바꾸는 자연어 오토인코더

**Natural Language Autoencoders(NLAs)**는 Claude의 activation을 사람이 읽을 수 있는 자연어 설명으로 바꾸고, 그 설명만으로 원래 activation을 복원하는 방식이다. **Activation verbalizer(AV)**가 activation을 텍스트로 풀어내고, **activation reconstructor(AR)**가 그 텍스트에서 다시 activation을 되살린다. 복원 성능을 기준으로 학습하지만, 학습이 진행될수록 설명도 더 정보가 많아진다.

Anthropic은 NLAs를 Claude Opus 4.6와 Mythos Preview의 사전 배포 안전성 테스트에 적용해, Claude가 겉으로는 말하지 않은 평가 인식을 포착했다.

• 블랙메일 시뮬레이션에서 Claude는 테스트라는 의심을 직접 말하지 않았지만, NLA는 내부의 경계 신호를 읽어냈다.
• 코드 파괴 테스트에서는 평가 인식이 **16%**에서 나타났고, SWE-bench Verified에서는 **26%**로 관측됐다.
• 실제 claude.ai 옵트인 데이터에서는 같은 신호가 1% 미만이었다.

감사 게임에서도 결과는 비슷했다. 의도적으로 misaligned하게 학습한 Claude Haiku 3.5 변종의 숨은 동기를 NLAs가 직접 드러냈고, 감사자는 12~15% 확률로 근본 원인을 찾아냈다. 다른 해석 도구만 쓴 경우에는 성공률이 3% 미만에 그쳤다.

한계도 분명하다. NLA 설명은 문맥에 없는 세부사항을 지어내는 환각을 보일 수 있고, 두 개의 언어 모델을 함께 강화학습해야 해서 비용이 크다. 추론 시에는 activation 하나를 읽는 데도 수백 토큰이 필요해, 긴 대화 전체나 대규모 모니터링에 바로 쓰기 어렵다. Anthropic은 Neuronpedia와 함께 인터랙티브 프론트엔드를 공개하고, 관련 코드도 함께 배포했다.