LLM 내부 상태 변화와 정렬의 한계

기존의 AI 정렬(Alignment) 방식인 RLHF, DPO, Constitutional AI 등은 모델의 **출력(Output)**이 안전하고 유용한지에만 집중한다. 하지만 최근 실험에 따르면, 모델의 외부 행동은 완벽하게 정렬되어 있더라도 잔차 스트림(Residual Stream) 내부의 상태는 완전히 다른 영역으로 전이될 수 있음이 확인되었다.

Gemma-3-12B-IT 모델을 대상으로 Gemma Scope SAE를 활용해 진행한 실험 결과는 다음과 같다:

• 내부 상태의 급격한 변화: 일관된 문맥(Target)을 처리할 때, 모델의 내부 벡터 투영값이 급격히 상승하는 위상 전이(Phase Transition) 현상이 특정 레이어(16~41)에서 관찰되었다.
• 구조적 민감도: 단순히 단어의 유사성이 아니라, 문장의 순서와 같은 **담화 구조(Discourse Structure)**에 따라 내부 상태가 민감하게 반응했다.
• 정렬의 사각지대: 모델이 내부적으로는 측정 가능한 다른 잠재 영역(Latent Regime)에 진입했음에도 불구하고, 최종 출력은 여전히 "완벽하게 정렬된" 상태를 유지했다.

이 결과는 현재의 출력 중심 안전 기술이 모델 내부에서 발생하는 잠재적 위험이나 상태 변화를 감지하지 못하는 **'정렬의 사각지대'**를 가질 수 있음을 시사한다.