AI 정렬 연구의 암묵적 가치 이론 분석

Google Research, DeepMind 등 소속 연구진이 작성한 'Toward a Theory of Value in AI Alignment' 논문은 AI 가치 정렬(Value Alignment) 분야의 연구 관행을 분석했다. 연구진은 인용수가 높은 94편의 논문을 분석하여 이 분야가 암묵적으로 채택하고 있는 가치 이론을 추적했다.

주요 조사 결과:

• 79%: '가치'가 무엇인지 정의하거나 서술하지 않음.
• 82%: '선호(preference)'를 가치의 대용물로 사용.
• 87%: '효용 극대화(utility maximization)'를 정렬의 기술적 틀로 채택.

핵심 분석 내용:

• 기술적 환원주의: RLHF, DPO 등 현대 정렬 기술은 인간의 가치를 하나의 스칼라 보상(scalar reward)으로 환원할 수 있다고 가정하며, 이 과정에서 가치의 본질에 대한 정의는 생략되는 경향이 있다.
• 사회기술적 관점의 부재: 정렬 연구가 주로 수학적 정식화에 집중하면서, AI 시스템이 사회적·문화적 산물이라는 점과 설계 결정이 가져오는 시스템 안전(system safety) 문제를 간과하고 있다.
• 규제 및 정책적 위험: 정의되지 않은 '정렬'이라는 개념이 법적 적합성이나 정부 조달의 근거로 사용되는 상황에 대해 경고한다.

이 논문은 정렬 연구가 단순한 기술적 개선을 넘어, 어떤 인간관을 바탕으로 가치를 조작화하고 있는지에 대한 비판적 성찰이 필요함을 강조한다.