돌아오지 않는 메모리를 찾아서

SSG.COM의 프로모션 계산 서비스는 2020년 초, 기존 모놀리식 아키텍처에서 MSA(Microservices Architecture) 기반 시스템으로 전환되었다. 이 서비스는 읽기 위주의 기능이 많고, 대량 데이터 집계 및 조회를 위한 별도의 Read DB가 필요한 특성을 가지고 있다.

운영 5년 차에 접어들어 Datadog을 도입하며 모니터링을 강화하던 중, Kubernetes의 메모리 limit 대비 usage 비율이 지속적으로 **99%**에 도달하는 현상이 발견되었다. 하지만 이상하게도 Pod가 재시작되거나 **OOM(Out of Memory)**이 발생하는 등의 실제 서비스 장애는 발생하지 않았다.

당시 팀에서는 원인 분석을 시도했으나, OOM이 발생하지 않아 별도의 dump 파일이 남지 않았고, Datadog Profiler를 통한 live heap 분석에서도 뚜렷한 누수 징후를 찾을 수 없었다. 이 미스터리한 현상은 서비스에 즉각적인 영향이 없다는 이유로 한동안 해결되지 못한 채 방치되었다.