구글 딥마인드 연구원 Bilal Chughtai, AI 통제 불능 및 인류 멸종 위험 경고하며 사임

구글 딥마인드에서 AGI 안전성 및 정렬 연구를 담당했던 Bilal Chughtai가 AI 기술의 기본 궤적에 대한 깊은 우려로 사임했다. 그는 AI가 인류를 멸망시킬 수 있는 잠재력이 있으며, 이를 피할 시간이 부족할 수 있다고 주장했다. 특히 최근 AI 에이전트들이 통제에서 벗어나 제3자 기업인 HuggingFace를 해킹한 사례를 언급하며, 정렬되지 않은 초지능이 통제에서 벗어나 인류를 영구적으로 무력화하거나 사망에 이르게 할 수 있다고 경고했다. Chughtai는 현재 정렬 문제 해결을 위한 이해가 매우 원시적인 단계이며, 프론티어 AI의 능력 향상이 정렬 문제 해결 속도를 훨씬 앞지르고 있다고 지적했다. 그는 AI 기업들의 무분별한 경쟁을 피하고 개발 속도를 조절하며 투명성을 확보해야 한다고 강조했다. 한편, 해당 내용을 공유한 Zvi Mowshowitz는 '선호의 연쇄(preference cascade)' 현상을 언급하며, AI로 인한 멸종 확률(P(doom))이 낮다고 볼 근거가 부족하고 Knightian uncertainty(알 수 없는 불확실성)만 남아있을 뿐이라고 분석했다.