Replit, 대규모 코드 데이터를 분석하는 방법

Replit은 3억 개 이상의 소프트웨어 저장소와 Operational Transformation(OT), 실행 로그, LSP 진단 로그 등을 결합하여 소프트웨어 제작 과정을 보여주는 방대한 데이터를 보유하고 있다.

이 데이터는 사용자의 니즈를 파악해 Postgres 지원을 강화하거나 Replit ModelFarm을 개발하는 등 제품 전략을 수립하는 데 핵심적인 역할을 하며, 강력한 AI 모델을 학습시키는 데도 사용된다.

하지만 데이터의 규모가 워낙 거대하여 이를 처리하는 데 기술적 난관이 많다. Google Cloud Storage에 저장된 코드만 수 페타바이트(PB)에 달하며, 사용자들이 매월 디스크에 기록하는 데이터는 1PiB가 넘는다.

주요 과제는 데이터를 쓰고, 읽고, 의미를 파악하는 것이다. 특히 기존 파일 시스템은 분석이 아닌 런타임 최적화에 맞춰 설계되어 있어, Spark를 활용한 분석 시 네트워크 지연과 높은 비용, 그리고 복잡한 개발자 경험(DX) 문제가 발생한다.