murrdb/murr - ML/AI 워크로드용 서브 밀리초 캐시

AI 추론 워크로드를 겨냥하여 설계된 RocksDB 기반의 NVMe/S3 캐시로, 배치 처리 방식의 low-latency 제로 카피 읽기 및 쓰기에 최적화되어 있습니다.

데이터 서빙 계층으로서 Parquet 입력과 Arrow-Flight 출력을 지원하며, 핫 데이터는 메모리에, 콜드 데이터는 디스크에 저장하는 계층형 저장(tiered storage) 구조를 가집니다. 모든 상태를 S3에 보존하는 무상태(stateless) 설계로 노드 장애 시에도 빠른 복구가 가능합니다.

주요 특징 및 장점:

• 제로카피 와이어 프로토콜: API 응답에서 np.ndarray, pd.DataFrame, pt.Tensor를 변환 없이 즉시 구성할 수 있습니다.
• 효율적인 데이터 처리: 1GB 규모의 Parquet/Arrow 파일을 Ingestion API에 그대로 투입할 수 있으며, Sparse columns 지원으로 데이터가 없는 컬럼은 공간을 차지하지 않습니다.
• 비용 및 성능: Redis 대비 HSET 기준 약 12배 빠른 성능과 3배 적은 RAM 사용량을 보이며, DynamoDB 대비 약 10배 저렴한 비용으로 운영이 가능합니다.

이 도구는 범용 DB가 아니므로, OLTP는 Postgres, 분석은 Clickhouse를, 범용 캐싱은 Redis를 사용하는 것이 권장됩니다.