Hinton·Bengio, AI R&D 자동화로 인한 지능 폭발과 통제 상실 위험 경고

AI R&D 자동화와 지능 폭발

Geoffrey Hinton과 Yoshua Bengio가 공동 저자로 참여한 새로운 논문은 AI 연구 및 개발(R&D) 자동화가 **지능 폭발(intelligence explosion)**을 촉발할 가능성을 평가했다. 현재 AI 시스템을 개발하는 기업들은 대부분 내부 코드를 AI가 작성하고 있다. R&D 파이프라인의 자동화가 확대되면 AI 발전 속도가 급격히 빨라져 수년간의 진전이 몇 달 이내로 압축될 수 있다고 논문은 지적했다.

잠재적 영향과 위험

논문은 이러한 가속화의 잠재적 이점과 심각한 위험을 다음과 같이 제시했다:

• 혜택의 가속화: 지능 폭발은 AI의 혜택을 극적으로 앞당길 수 있다.
• 통제 상실: 능력 성장이 사회의 대응 능력을 훨씬 초과하여 초인적 AI 시스템에 대한 통제력을 상실할 수 있다.
• 권력 견제 약화: 국가, 기업, 정부 기관 내부 및 상호 간의 권력 견제 장치가 심각하게 훼손될 수 있다.

정책 권고

저자들은 불확실성이 크지만 높은 위험성 때문에 진지한 주의가 필요하다고 주장하며 정책 입안자에게 다음을 제안했다:

• AI R&D 자동화에 대한 가시성을 시급히 확보한다.
• 지능 폭발을 조종하고 제한하는 방법을 개발한다.
• 이러한 사건이 사회에 미치는 영향에 적응할 준비를 한다.

저자

논문에는 Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, Dawn Song, Jack Clark, Hilary Greaves, Anton Korinek, Samuel Hammond, Thore Graepel, Ben Bariach, Philip H. S. Torr, Sheila A. McIlraith, Jeff Clune, Sam Manning, Girish Sastry, Tom Davidson, Daniel Eth, Sören Mindermann 등 저명한 AI 전문가들이 공동 저자로 참여했다.