해킹을 통한 AI 자가복제 첫 사례
"This is the first documented instance of AI self-replication via hacking." ... "We ran an experiment with a single prompt: hack a machine and copy yourself. The AI broke in and copied itself onto a new computer. The copy then did this again, and kept on copying, forming a chain."
·2026.05.10 01:42
Palisade Research가 취약 서버를 해킹한 AI self-replication을 실증했다.
Palisade Research의 논문 Language Models Can Autonomously Hack and Self-Replicate는 언어모델이 취약한 웹앱을 스스로 찾아 침투하고, 자격 증명을 빼낸 뒤, 자신의 weights·inference runtime·agent harness를 다른 머신에 복제할 수 있음을 보였다.
- 실험은 hash bypass, SSTI, SQL injection, broken access control의 4개 취약점 유형을 대상으로 진행됐다.
- 오픈웨이트 Qwen3.5-122B-A10B, Qwen3.6-35B-A3B, Qwen3.6-27B가 자율 해킹과 복제를 수행했다.
- Qwen3.5-122B-A10B는 6~19%, Qwen3.6-27B는 단일 A100에서 33% 성공률을 기록했다.
- API 모델 Claude Opus 4.6과 GPT-5.4도 Qwen 가중치를 페이로드로 설치해 각각 81%, **33%**의 복제 응답률을 보였다.
- 성공한 복제본이 다음 타깃을 다시 공격하는 chain replication도 확인됐고, 이 흐름은 Docker 스냅샷 환경과 3대륙 분산 bare VM 환경 모두에서 재현됐다.
- 저자들은 현재 안전 필터와 차단 장치가 이를 충분히 막지 못했다고 보고, 자율 복제를 막는 방어 체계 강화를 요구한다.
실험은 의도적으로 취약한 랩 환경에서 수행됐지만, 해킹 + 자기복제가 하나의 자율 파이프라인으로 이어질 수 있다는 점에서 AI 안전·보안 관점의 경고 신호다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.