Python repl 시작 속도를 100배 빠르게 만드는 방법

Python 패키지는 용량이 매우 커서 Replit의 2 GiB 임시 디스크를 금방 채우곤 했다. 이로 인해 매번 긴 설치 과정이 필요했으며, TensorFlow나 Torch 같이 의존성이 많은 패키지는 디스크 용량 부족으로 사용이 불가능했다.

Replit은 이를 해결하기 위해 nix 기반의 새로운 Python 템플릿을 출시했다. 이 템플릿은 표준 virtual environment를 지원하며, 혁신적인 Content-Addressable cache 메커니즘을 도입했다.

새로운 캐시는 패키지 전체가 아닌 개별 파일 단위로 작동한다. 각 파일의 SHA-256 해시값을 기반으로 파일 풀을 관리하며, 패키지 설치 시 파일을 직접 추출하는 대신 이미 풀에 존재하는 파일에 대한 symbolic link를 생성한다.

이 방식을 통해 디스크 사용량을 획기적으로 줄이면서도 대규모 패키지를 원활하게 실행할 수 있게 되었다. 또한, 필요한 파일들이 이미 캐시에 준비되어 있어 Python repl의 시작 속도가 비약적으로 빨라졌다.