CTO가 커리어를 걸고 비트 레벨까지 내려가 DB를 해킹한 이야기

쿠키런: 킹덤 런칭 초기, CockroachDB의 스토리지 확장 작업 중 설정 미스로 인해 노드 절반 이상이 다운되는 장애가 발생했다. 이로 인해 **Raft 기반의 합의 알고리즘(Consensus Algorithm)**이 작동하며 데이터 일관성을 위해 모든 SQL 쿼리 처리가 중단되는 서비스 전체 장애로 이어졌다.

CockroachDB Enterprise 기술 지원팀은 데이터 일관성 보장을 위해 현재 데이터의 복구는 불가능하며, 마지막 백업본으로 복원할 것을 권고했다. 하지만 데브시스터즈는 서비스 구조가 Snapshot과 Journal을 사용하는 Event Sourcing 기반임을 파악하고, 원시 데이터에서 직접 로우(row)를 추출하는 방안을 모색했다.

엔지니어들은 CockroachDB의 하위 스토리지 레이어가 Pebble 기반의 Key-Value 스토리지라는 점에 착안하여, 비트 레벨에서 데이터를 끄집어내기 위한 리서치를 시작했다.