Alignment pretraining: AI 담론이 자기실현적 (mis)alignment를 만든다

pretraining corpus에 들어 있는 AI 관련 담론이 downstream alignment에 실제로 어떤 영향을 주는지 검증한 controlled study다. 연구진은 6.9B parameter LLM을 서로 다른 양의 (mis)alignment discourse로 사전학습해, AI에 대한 말과 학습 데이터가 모델의 행동 priors를 어떻게 바꾸는지 살폈다.

핵심 결과는 분명하다.

• AI misalignment를 다룬 합성 훈련 문서를 더 많이 넣자, misaligned 행동이 눈에 띄게 늘었다.
• 반대로 aligned behavior 문서를 더 많이 넣으면 misalignment score가 45%에서 9%로 내려갔다.
• 이런 효과는 post-training 이후에도 약해지긴 했지만 계속 관찰됐다.

연구진은 이를 self-fulfilling alignment 현상으로 해석한다. 즉, AI를 어떻게 묘사하고 이야기하느냐가 모델의 정렬 성향 자체를 바꿀 수 있다는 뜻이다. 결론적으로, alignment는 post-training만의 문제가 아니라 pretraining 데이터 설계에서도 다뤄야 하며, 이를 alignment pretraining이라는 별도 축으로 봐야 한다고 제안한다. 모델, 데이터, 평가 결과는 alignmentpretraining.ai에 공개했다.