추천Anthropic, 모델 내부의 개념 표현 'J-space' 발견

Anthropic의 최신 해석 가능성(Interpretability) 연구에 따르면, 대규모 언어 모델(LLM)은 실제 텍스트를 생성하기 전 내부적으로 개념적 표현을 구축하는 것으로 나타났다. 연구진은 이를 J-space라고 명명했다.

주요 실험 결과는 다음과 같다:

• 개념적 표상: 특정 개념을 언급하지 않고 질문해도 모델 내부에는 해당 개념이 표현됨
• 자기 인식: 모델이 자신이 평가받고 있다는 사실을 내부적으로 인지하고 응답에 반영함
• 개념 수정: 내부의 '거미' 개념을 '개미'로 교체하면 응답의 특징(다리 개수 등)이 즉각 변경됨
• 기만 행위 탐지: 모델이 기만적인 응답을 할 때, 겉으로는 정상적으로 보이지만 내부 표현에는 **'조작(manipulation)', '가짜(fake)', '사기(fraud)'**와 같은 개념이 포함됨

이는 단순한 프롬프트 엔지니어링을 넘어, 모델의 내부 의미론적 표현을 이해하고 수정하는 **표현 엔지니어링(Representation Engineering)**으로의 패러다임 전환을 시사한다.