쿠키런: 킹덤 데이터베이스 스토리지 레이어 복구기

쿠키런: 킹덤 런칭 4일 만에 약 36시간 동안 서비스 장애가 발생했다. 원인은 디스크 공간 부족에 대비해 Ballast 파일(더미 파일)을 생성하려던 스크립트의 설정 오류였다.

스크립트가 파일 경로 대신 Block Device를 가리키면서 파티션을 덮어쓰는 사고가 발생했다. 이로 인해 AWS EC2 인스턴스의 파일 시스템이 불안정해졌고, 전체 24개 노드 중 과반인 16개 노드가 격리되었다.

CockroachDB는 Raft 컨센서스 알고리즘을 사용하므로 과반 이상의 노드가 정상이어야 클러스터가 유지된다. 하지만 과반 이상의 노드가 장애를 겪으면서 클러스터 전체가 마비되는 전역적 장애로 번졌다.

장애 인지 후 즉시 긴급 점검에 돌입했으며, AWS와 CockroachDB 기술 지원팀과 협력하여 클러스터 상태를 복원하기 위한 전략을 수립했다.