데이터 손실: 슬픈 이야기의 행복한 결말

올해 초, 일부 사용자의 데이터가 유실되거나 변경 사항이 반영되지 않는 현상이 발견되었다. 초기에는 개별 버그를 수정하는 방식으로 대응했으나, 오히려 데이터 손실이 가속화되는 load-bearing bugs(수정 시 다른 문제를 일으키는 버그) 문제가 드러났다.

문제를 해결하기 위해 다음과 같은 구조적인 접근 방식을 도입했다:

• 데이터 유실 의심 지점에 대한 로그 및 모니터링 강화
• 손상된 데이터 발견 시, 전체를 삭제하는 대신 가능한 부분만 **복구(salvage)**하는 로직 적용
• 파일 시스템 스냅샷 도구의 출력을 분석하여 손상된 데이터의 영구 저장 방지
• Dataflow pipeline을 구축하여 기존의 오래된 repl 데이터 일괄 복구 수행

근본 원인은 Golang의 exec.Cmd가 stdin/stdout을 처리하는 방식과, 시스템 부하가 높거나 디스크 공간이 부족할 때 특정 syscall(write(2), splice(2))의 실패를 제대로 체크하지 못하는 파일 시스템 스냅샷 도구 간의 상호작용이었다. 이로 인해 에러 없이 데이터가 조용히 잘리는(silent truncation) 현상이 발생했다.

현재는 모든 완화 조치를 완료했으며, 모니터링과 테스트를 강화하여 향후 유사한 데이터 유실이 재발하지 않도록 시스템을 개선했다.