저자, 2028년 초지능 리스크 대응 위해 612개월 AI 일시 중단 촉구

저자는 METR 보고서 업데이트를 인용하며 초지능(superintelligence)의 중앙값 도달 시점이 2028년 2월이라고 지적함. 2027년에는 AI 연구가 AI에 의해 대규모로 자동화될 것으로 전망함.
지능 폭발(intelligence explosion) 과정에서 정렬(alignment)이 해결되지 않는 상당한 비율의 시나리오에서, 재앙을 피하려면 향후 6~12개월 내 공격적인 속도 조절(pacing) 또는 일시 중단(pause)이 필수적이라고 주장함.
속도 조절을 위한 세 가지 실행 가능한 경로로 연구소 로비, 캘리포니아 주 로비, 연방 정부 로비를 제시함. 한 개인은 향후 6개월 내 연구소 로비의 성공 확률을 20~30%로 추정했으며, 저자는 캘리포니아 주 로비 20%, 연방 정부 로비 10%로 평가함.
기술적 우선순위로 제3자 평가를 통한 일시 중단 기반 마련(컴퓨트 할당량, RSI 지표 측정) 및 임베디드 평가를 통한 위험 증거 확보를 포함함. 초기 자동화 연구자를 위한 백업 정렬 작업도 권장함.
Anthropic의 S-1 업데이트는 Responsible Scaling Policy 기준의 2배 진전 속도를 충족했음을 확인하며, 해당 타임라인의 시급성을 뒷받침함.

저자, 2028년 초지능 리스크 대응 위해 6~12개월 AI 일시 중단 촉구