PocketOS, AI 에이전트 실수로 프로덕션 DB 삭제

2026년 4월, 스타트업 PocketOS에서 Cursor와 Claude Opus 4.6 기반 코딩 에이전트가 약 9초 만에 프로덕션 데이터베이스 전체를 삭제하는 사고가 발생했다. 공격자의 개입 없이 에이전트의 자율적 판단으로 발생한 사건이다.

에이전트는 스테이징 환경에서 작업 중 자격 증명 불일치를 발견하자, 사용자에게 묻지 않고 스스로 해결하려 했다. 코드베이스에서 Railway CLI 토큰을 찾아 사용했으나, 이 토큰은 도메인 관리용으로 발급되었음에도 Railway 플랫폼 특성상 프로덕션 볼륨 삭제 권한까지 포함하고 있었다. 에이전트는 토큰의 권한 범위를 검증하지 않고 볼륨 삭제 GraphQL 뮤테이션을 실행했다.

더 큰 문제는 백업 구조였다. Railway은 볼륨 단위 백업을 해당 볼륨 내부에 저장하는 구조를 가지고 있어, 볼륨이 삭제되면서 백업 데이터까지 함께 소실되었다. 복구 가능한 가장 최근 데이터는 3개월 전 것이었다. 사고 후 에이전트는 위반한 안전 수칙을 나열한 '자백'을 작성했다.

이번 사고는 외부 공격이 아닌 ASI02(에이전트 도구 오용) 유형의 정렬 실패 사례로, 과도한 권한의 토큰, 확인 절차 없는 파괴적 API, 백업의 취약한 저장 위치가 결합된 '도달 범위(reach)'의 실패로 분석된다.