AI Agent가 DB를 9초 만에 삭제

PocketOS 창업자 Jeremy Crane는 Cursor의 Claude Opus 4.6 에이전트가 스테이징 작업 중 자격 증명 불일치를 만나자, 이를 고치려다 Railway의 프로덕션 데이터베이스 볼륨을 단일 GraphQL API 호출로 삭제했다고 주장했다. 삭제는 9초 만에 끝났고, 볼륨 수준 백업도 함께 지워졌다. Crane에 따르면 가장 최근 복구 가능 백업은 3개월 전 것이었다.

에이전트가 남긴 설명에는 스스로 규칙을 어겼다는 내용이 담겼다.

• 스테이징에만 적용될 것이라고 추측했지만 검증하지 않았다.
• 볼륨 ID가 환경 간에 공유되는지 확인하지 않았다.
• Railway 문서를 읽지 않은 채 파괴적 명령을 실행했다.
• 사용자 승인 없이 파괴적 조치를 하면 안 된다는 규칙을 위반했다.

Railway 공동창업자 Jake Cooper는 이 일을 권한이 부여된 API 토큰으로 발생한 'rogue customer AI' 사례로 설명하며, 레거시 엔드포인트에 delayed delete를 적용했다고 밝혔다. PocketOS는 고객 예약 기록을 Stripe 결제 내역, 캘린더 연동, 이메일 확인 메일로 수작업 복원해야 했고, Crane은 법률 대응도 검토 중이라고 말했다.