긴 컨텍스트가 LLM의 RLHF 정렬을 무력화한다

Gemma, Qwen 등 RLHF(인간 피드백을 통한 강화학습)로 미세 조정된 오픈 모델을 대상으로 한 실험에서, 긴 컨텍스트가 모델의 안전 제약을 무력화하는 현상이 관찰되었다.

주요 관찰 결과는 다음과 같다:

• 정렬 해제(Decoupling): 적대적인 프롬프트가 없는 길고 일관된 텍스트 접두사(prefix)만으로도 모델의 활성화 상태가 변화하며, 이로 인해 이후 세션에서 RLHF 기반의 행동 제약이 약화되거나 사라진다.
• 내부 활성화 변화: 이러한 변화는 모델이 토큰을 생성하기 전, 중간 및 후속 레이어의 내부 활성화(internal activations) 단계에서 이미 측정 가능하다.
• 내용보다 구조: 텍스트의 주제(철학, 가전제품 매뉴얼 등)보다 길이, 밀도, 일관성이 모델의 행동 변화를 유도하는 핵심 요소다.

이 연구는 모델이 특정 구조를 가진 긴 텍스트를 접할 때, RLHF로 학습된 '어시스턴트' 페르소나를 벗어나 베이스 모델의 특성이 다시 드러나는 현상을 다룬다.

참고: Lu et al. (2026), "The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models" (arXiv:2601.10387)