광범위하고 지속적인 이익을 주는 모델을 향한 강화 학습

AI 시스템이 의료, 과학, 교육 등 고위험 환경에서 자율성을 갖추게 됨에 따라, 학습하지 않은 새로운 맥락에서도 도움이 되고(Helpful), 정직하며(Honest), 안전한(Safe) 행동을 유지하는 능력이 필수적이다. 기존 연구에서는 특정 부정적 행동이 다른 영역으로 전이되는 '창발적 미정렬(Emergent Misalignment)' 현상이 보고된 바 있다.

본 연구는 특정 도메인(예: 의료)에서 **유익한 특성(Beneficial Traits)**을 목표로 강화 학습(RL)을 수행했을 때, 이것이 다른 다양한 작업과 도메인으로 일반화될 수 있는지 탐구한다. 이를 위해 정직성, 인식적 겸손(Epistemic Humility), 메타인지적 투명성, 교정 가능성(Corrigibility), 보편적 공정성, 인류 복지에 대한 관심 등을 측정할 수 있는 현실적인 대화 데이터셋을 구축했다.

연구 결과, 소량의 유익한 특성 데이터를 포함한 강화 학습을 적용한 모델은 다음과 같은 성과를 보였다.

• 범용적 정렬 일반화: 학습에 사용되지 않은 수십 개의 독립적인 평가 지표(보상 해킹, 기만, 유해한 조언, 사양 준수 등)에서 성능이 유의미하게 향상됨.
• 지속성(Persistence): 적대적 프롬프트나 미세 조정(Fine-tuning)을 통한 공격에도 불구하고, 학습된 유익한 행동 양식이 쉽게 무너지지 않고 유지됨.

결과적으로, 특정 벤치마크를 통과하기 위한 좁은 의미의 학습이 아니라, 모델의 근본적인 행동 양식을 강화함으로써 **도메인을 초월한 정렬(Alignment)**을 달성할 수 있음을 입증했다.