LLM 거절 행동, 단일 방향 벡터로 제어 가능

대규모 언어 모델(LLM)의 거절(refusal) 행동은 잔류 스트림(residual stream) 활성화 값의 평균 차이를 통해 식별된 1차원 부분공간에 의해 매개됨
해당 단일 방향을 제거(ablating)하면 안전 필터를 우회하며, 이를 추가하면 무해한 지시문에도 거절 반응을 유발하여 거절의 필요충분조건임을 입증함
해로운 완성 데이터나 그라디언트 기반 최적화 없이 랭크-1 가중치 직교화를 활용한 화이트박스 재일브레이크(white-box jailbreak) 방식이 HarmBench에서 높은 공격 성공률을 달성함
MMLU, ARC, GSM8K 벤치마크에서 모델 일관성이 유지되며, 대부분의 아키텍처에서 성능 변화가 베이스라인 모델의 99% 신뢰구간 내에 머물렀음
적대적 접미사(adversarial suffixes)는 거절 방향의 전파를 억제하고 특정 헤드의 주의를 해로운 지시문 내용에서 벗어나게 함으로써 작동함
70B 파라미터 모델이 이 가중치 편집을 통해 5달러 미만의 컴퓨트 비용으로 재일브레이크되는 사례로 현재 안전 미세조정(safety fine-tuning)의 취약점을 강조함

핵심 내용