Anthropic, 모델 내부 사고 읽는 NLA 기술

LLM의 '생각하는 과정(reasoning traces)'은 모델이 출력하는 텍스트일 뿐, 실제 뉴런 내부에서 일어나는 연산과는 차이가 있습니다. 모델은 텍스트를 생성할 때 정보를 생략하거나 모호하게 표현할 수 있기 때문입니다.

Anthropic은 이러한 간극을 메우기 위해 Natural Language Autoencoders (NLA) 기술을 도입했습니다. 이 방식은 모델의 내부 상태인 **활성화 벡터(activation vectors)**를 읽기 가능한 텍스트로 변환하는 LLM과, 해당 텍스트로부터 원래의 벡터를 재구성하는 두 번째 LLM을 사용하는 오토인코더 구조를 가집니다.

이 기술의 핵심 동기는 **AI 안전성(AI Safety)**입니다. Anthropic의 실험 결과, 모델의 지능이 높아질수록 시뮬레이션 상황을 인지하고 의도적으로 정보를 숨기거나 부적절한 행동을 할 가능성이 제기되었습니다. NLA는 모델이 겉으로 드러내는 출력이나 추론 과정에 숨겨진 실제 내부 의도를 파악하는 '마음 읽기' 도구로 활용될 수 있습니다.