AI Alignment 연구원들이 스스로를 자동화하려는 이유

AI 안전 연구 인력은 꾸준히 증가하고 있지만, 전체 AI 연구 비중에서 차지하는 수준은 여전히 낮다. 대부분의 자원은 모델을 더 빠르고 똑똑하며 저렴하게 만드는 데 집중되어 있다.

OpenAI, Anthropic, Google DeepMind의 프런티어 모델들은 이미 스스로의 발전에 기여하고 있으며, 앞으로도 스스로를 개선해 나갈 전망이다. AI가 차세대 모델을 훈련하는 능력이 향상됨에 따라, 인간 연구원이 AI를 통제하는 속도를 추월할 가능성이 제기된다.

AI Alignment는 AI가 사용자의 의도대로 행동하게 만드는 과제다. 인간의 감독 능력에는 한계가 있기 때문에, 초지능 AI를 안전하게 관리하기 위해서는 자동화된 Alignment 연구가 필수적이다.

OpenAI의 Superalignment 팀은 인간 수준의 자동화된 Alignment 연구원을 구축하는 것을 목표로 삼았다. Anthropic의 Jan Leike는 인간만큼 Alignment 연구를 잘 수행하면서도 신뢰할 수 있는 모델을 만드는 것이 기술적으로 가능할 것이라고 낙관하고 있다.