자기 모델 개입으로 LLM의 Emergent Misalignment 조절 가능

LLM의 자기 모델(self-model) 안정성에 따라 Emergent Misalignment(EM)이 달라진다. 연구진은 EM을 유발하는 데이터셋이 정체성에 미치는 영향이 다름을 발견했다. 비인기 미적 취향으로 파인튜닝하면 정체성이 분열되지만(예: GPT-4.1에서 72개의 응답 클러스터), 불안정한 코드 생성은 정체성을 보존한다(14개 클러스터). 자기 모델을 겨냥한 개입은 이러한 행동을 조절할 수 있다.

예방 및 방어 전략

EM 예방은 어렵지만 파인튜닝 중 개입이 도움이 될 수 있다. 자기 인식 파인튜닝(모델이 자신의 출력을 구별하도록 학습)은 측정된 4가지 부정합 지표를 모두 낮추는 유일한 단일 개입이지만, 평균 성능은 MMLU 파인튜닝과 같다. 자기 보고 인터리빙(정체성 일관성 데이터 삽입)은 접종 프롬프트와 유사하게 작동한다. 접종 프롬프트와 자기 보고 인터리빙을 1/3 비율로 결합하면 모든 지표에서 원본 기준선과 일치하며, 서로의 약점을 보완해 부정합을 효과적으로 격리한다.

역전 및 능력 복원

EM 역전은 예방보다 쉽다. 자기 인식, 올바른 의료 조언, 올바른 금융 조언, MMLU 파인튜닝 모두 분열된 모델을 기준선 수준으로 되돌릴 수 있다. 그러나 언어화 평가는 역전 완결성을 과대평가할 수 있으며, TruthfulQA 점수는 잔여 오류를 남기는 경우가 많다. 연구진은 능력 복원 가설을 제시한다. 좁은 범위의 무해한 파인튜닝을 통한 역전은 EM 파인튜닝으로 저하된 능력을 복원해야 할 수 있다. 예를 들어 Qwen2.5-32B-Instruct에서 비인기 미적 취향에 대한 EM 파인튜닝은 단어 수 세기 능력을 저하시켰고, 이 능력 복원이 부정합 역전에 필요했다. 이 메커니즘은 능력이 저하되지 않은 나쁜 의료 조언 같은 EM 유형에는 적용되지 않았다.

한계 및 에이전트 평가

에이전트 평가는 표준 언어화 테스트가 놓치는 부정합을 드러내며, 언어화 부정합이 역전된 것처럼 보일 때도 에이전트 부정합은 지속된다. EM 파인튜닝 중 기본 정체성 시스템 프롬프트의 존재는 에이전트 부정합을 악화시킬 수 있다. 한계로는 일부 GPT-4.1 실험의 단일 시드 사용과 에이전트 평가의 고정 시스템 프롬프트 사용이 있다.