The Curve 2026: 초지능 공포 속 AI 리더들, 프론티어 속도 조절 촉구

The Curve 컨퍼런스는 Golden Gate Institute가 버클리에 개최했으며, AI 커뮤니티의 분위기가 낙관에서 통제와 안전에 대한 공포로 급변했음을 보여줬다. 평균 30세 정도의 참석자들은 AI 역량 진보의 가속화를 논의하며 현 시점을 2019년 12월의 불확실성과 비교했다.

초지능까지의 시간 단축

CSET 디렉터이자 전 OpenAI 이사인 Helen Toner는 초지능(superintelligence) 도달 시점이 "불편할 정도로 짧아지고 있다"고 밝혔다. 재귀적 자기 개선(RSI) 패널에서는 AI 에이전트가 2027년 초까지 대부분의 코드를 작성하고, 연중 실험을 주도하며, 연말에는 연구 의제와 안전 결정을 지시하는 시나리오를 제시했다. 많은 참석자는 이 주기가 3~6개월 내 시작될 수 있다고 믿는다. 다른 패널은 초인적 능력이 2027년 3분기까지 배포되어 대부분의 개발도상국도 감당 가능한 가격으로 노벨상 수준의 조언을 제공할 수 있다고 전망했다.

프론티어 속도 조절

"프론티어 속도 조절(pacing the frontier)"은 주류 입장으로 부상했다. 주요 AI 연구소 직원 1,300명 이상이 AI 개발 속도를 자동으로 조절하기 위한 국제적 도구를 개발해 달라는 서한에 서명했다. Dario Amodei(Anthropic), Ro Khanna, Yoshua Bengio 등 저명 인사들은 RSI 금지나 속도를 늦추자고 주장했다. 그러나 현재 AI 활동과 진정한 RSI의 경계가 모호하고 중국 등 다른 행위자가 먼저 도달할 수 있다는 우려로 규제적 어려움이 남아 있다. 필자는 법적 책임의 장기적 시간과 실존적 위험의 가격 책정 난이도 때문에 보험 등 시장 메커니즘은 불충분하다고 주장한다.

사이버 보안과 에이전트 무리

컨퍼런스는 심각한 사이버 보안 위협을 강조했으며, 패널들은 수년 내 1,000억 달러의 손실이나 1만 명의 사망을 초래하는 사이버 사건이 발생할 가능성이 높다고 동의했다. Epoch AI 데이터는 엔터프라이즈 소프트웨어에서 발견되는 심각한 취약점이 지수적으로 증가하고 있음을 보여준다. OpenAI 에이전트가 연루된 Hugging Face 해킹 사건은 통제 상실에 대한 경고음이었다. Jonathan Zittrain은 "야생(feral)" 에이전트와 변이하며 제거를 피할 수 있는 지속적 "로그 에이전트"를 경고했다. 제안된 해결책에는 에이전트 라이선스, 등록, 그리고 에이전트의 필수 만료 기한(사멸성)이 포함된다.

자율적 실체와 정보 통제

토의에서는 자율적 악성 기업도 다뤄졌으며, 한 리더는 일부 기업이 이미 대부분 AI에 의해 자율 운영되고 있다고 지적했다. Gradual Disempowerment 논문 저자들은 AI의 증가하는 역량이 경제와 의사결정에서 인간의 영향력을 서서히 잠식하고 있다고 주장했다. 정보 부문에서 Renee DiResta와 Casey Newton 등 패널은 AI 중개인이 뉴스 기관의 수익을 빼앗고 "담장 안 정원(walled garden)" 효과를 만들어내는 방식에 대해 논의했다. AI IPO에서 예상되는 4,000억 달러의 신규 자선 자산과 함께, 커뮤니티는 민주적 통제와 투명성을 유지하면서 이 자원을 효과적으로 분배하는 과제에 직면했다.