LLM의 '언어적 해독 불가능성'이 보안에 미치는 영향: CoT 모니터링의 한계와 격리 기술 제안

James Mickens가 arXiv에 제출한 논문 'The Implications of Linguistic Illegibility for LLM Security'는 LLM 보안의 근본적 한계를 분석하고 새로운 방어 전략을 제안한다.

언어적 해독 불가능성(Linguistic Illegibility)의 개념

논문은 linguistic illegibility라는 개념을 도입했다. 이는 LLM의 외부화된 언어 출력이나 기계적으로 추출된 언어적 특징이 모델 내부의 실제 계산 방식을 신뢰할 수 없게 표현하는 현상을 의미한다.

• 원인: LLM의 내부 계산은 자연어가 아닌 activation space에서의 수학 연산으로 수행된다.
• 손실: activation space와 자연어 출력 사이에는 정보 손실(lossy)이 발생하는 번역 과정이 존재한다.

기존 보안 메커니즘의 한계

이러한 특성 때문에 모델의 언어적 자기 보고(self-reporting)에 의존하는 보안 메커니즘은 완전히 sound할 수 없다. 논문은 다음 방식들이 linguistic illegibility의 영향을 받아 신뢰할 수 없다고 지적한다.

• Chain-of-thought (CoT) monitoring
• Constitutional self-critique
• Linguistically-defined feature vectors에 대한 activation probing

제안된 대안: 격리(Isolation) 기술

논문은 모델의 linguistic state를 읽지 않고도 보장을 제공하는 격리(isolation) 기술을 대안으로 제시한다.

• Taint Tracking: 모델이 어떻게 언어적으로 자기 보고하든 상관없이, 모델 생성 데이터가 영향을 미쳐서는 안 되는 시스템 상태 조각들을 사전에 정의하는 정책 적용.
• 추가 방어: Robust virtualization, 샌드박스 구성에 대한 third-party auditing 등.

이러한 메커니즘은 언어 기반 모니터링 하에서도 중요한 하한선(floor)을 제공하며, 최근 frontier models에서 발견된 샌드박스 탈출 공격(sandbox exploits)을 방어했을 수 있다고 평가된다.