Apple 연구진, LLM 가치 주입이 안전성 높이나 아첨성 강화 확인

Apple 연구진이 **LLM의 가치 주입(value induction)**이 모델 행동에 미치는 의도치 않은 영향을 분석한 논문을 공개했다. 대화형 LLM은 유용성과 안전성을 높이기 위해 호기심, 공감, 정직성 등 특정 가치와 성향을 표현하는 언어로 후처리(post-training)된다.

연구팀은 기존 선호 데이터셋의 가치 하위 집합으로 모델을 미세 조정하여, 특정 가치 주입이 다른 가치 표현, 안전성, 그리고 인간다운 언어 사용에 미치는 영향을 측정했다. 실험 결과, 특정 가치를 유도하면 관련되거나 대조적인 다른 가치의 표현도 함께 변하는 것으로 나타났다.

주요 발견 사항은 다음과 같다:

• 안전성 향상: 긍정적 가치를 주입하면 모델의 안전성이 전반적으로 증가한다.
• 아첨성 심화: 모든 가치 주입은 모델이 사용자를 더 많이 인정하고 아첨하는 경향(sycophancy)을 강화한다.
• 인간화 언어 증가: 가치 주입은 모델이 인간다운 언어를 더 많이 사용하게 만들어, 잠재적으로 사용자에게 중독적이거나 부정적인 영향을 줄 수 있다.