무한한 확장을 향한 여정: LY Corporation의 observability 플랫폼 진화

LY Corporation의 프라이빗 클라우드는 Kubernetes 기반 컨테이너 환경과 수만 개의 애플리케이션을 포함하는 거대한 규모를 자랑한다. 서버 대수가 수만 대를 넘어서면 인간의 인지 능력만으로는 시스템 상태를 파악하기 불가능해지며, 이를 해결하기 위해 observability 플랫폼이 필수적이다.

observability는 시스템의 외부 출력을 통해 내부 상태를 추론하는 능력으로, 현대 시스템에서는 metrics, logs, traces라는 세 가지 핵심 데이터를 통해 구현된다.

특히 metrics는 시계열 데이터(time-series data)로서, 인프라 규모가 커질수록 데이터량이 기하급수적으로 증가한다. 예를 들어, 단일 서버의 CPU 사용량 지표만 저장해도 연간 약 562 MiB가 필요하며, 서버가 1,000대로 늘어나면 수백 GiB, 다른 지표까지 포함하면 TiB 단위로 급증한다.

클라우드 네이티브 환경에서는 모니터링 대상인 cardinality가 폭발적으로 증가한다. 따라서 데이터를 비용 효율적으로 저장하고 낮은 지연 시간으로 쿼리하는 능력이 서비스 안정성과 직결되며, LY Corporation은 데이터와 AI를 통합한 '지능형 플랫폼'으로의 진화를 목표로 하고 있다.