진리는 방향이 아니다: LLM 프로브(Probe)에 대한 타르스키식 공격

LLM의 임베딩 공간에서 특정 개념(성별, 감정 등)이 특정 **방향(Direction)**으로 존재한다는 '선형 표현 가설(Linear Representation Hypothesis)'이 존재한다. 최근 연구들은 '진리(Truth)' 또한 임베딩 공간 내의 특정 방향으로 포착할 수 있다고 주장하며, 이를 통해 모델의 기만 여부를 탐지하려 시도하고 있다.

하지만 본 글은 **타르스키의 진리 정의(Tarski's undefinability theorem)**와 **대각선 논법(Diagonal argument)**을 사용하여 이러한 시도가 근본적으로 불가능함을 지적한다.

• 자기 참조의 역설: LLM은 입력된 자연어를 벡터로 변환하여 처리하는데, 모델의 입력값 자체가 모델의 내부 상태나 속성을 기술할 수 있다.
• 공격 메커니즘: 만약 진리 프로브 $t(s)$가 존재한다면, "이 문장의 진리 프로브 점수는 거짓(FALSE)이다"라는 문장을 입력했을 때 논리적 모순이 발생한다.
• 결론: 언어가 충분히 표현력이 있다면(Expressive), 그 언어 내부의 진리 값을 완벽하게 판별하는 프로브는 존재할 수 없다. 즉, 임베딩 공간의 기하학적 구조만으로는 모델의 진실성을 완전히 포착할 수 없다.