카카오, 대규모 분산 스토리지 'Kage' 및 콜드 스토리지 'Cave' 구축기 공개

카카오는 이용자 수와 트래픽 증가로 인한 NAS의 확장성 한계를 해결하기 위해 대규모 분산 스토리지 시스템 'Kage(KAkao storaGE)'를 구축했다. Kage는 데이터를 물리적으로 다른 3개 저장소에 복제하는 3중 복제 구조를 채택해 읽기 트래픽을 분산하고 장애에 대응하며, IDC 이중화 정책을 통해 서비스 연속성을 보장한다. 또한, 시간이 지나 접근 빈도가 낮아진 데이터를 효율적으로 보관하기 위해 콜드 스토리지 'Cave'를 도입했다. Cave는 기존 Kage의 3중 복제 대신 Reed-Solomon 부호화를 적용하여 데이터를 6개의 블록과 3개의 패리티 블록으로 나누어 총 9개 블록으로 저장한다. 이 방식은 6개 블록만으로도 원본 복원이 가능하여 Replication Factor를 1.5로 낮추면서도 3개의 디스크 장애까지 감당할 수 있는 높은 저장 효율과 안정성을 제공한다.