[구축사례] kt cloud PLATFORM Observability Alert 플랫폼 구축하기

KCP 클라우드 환경에서는 Grafana, Loki, Tempo, Mimir로 구성된 LGTM 스택이 모니터링을 담당했으나, Alert 처리 시 조직별 격리 부족, 확장성 한계, 표준 API 부재라는 문제가 발생했다.

이를 해결하기 위해 외부 SaaS 도입 대신 자체 Alert 관리 서비스를 구축했다. 주요 설계 결정은 다음과 같다.

• Namespace Prefix 방식: 별도 인프라 분리 없이 API 계층에서 조직 식별자를 주입해 Alert 격리를 구현했다.
• Label 표준화: 통합관제 시스템 연동을 위해 Alert 이벤트의 Label 체계를 표준화했다.
• API 계층 분리: Grafana 의존도를 낮추고, Alert 생성 및 조회를 위한 표준화된 인터페이스를 제공했다.

이로써 Alert를 단순 알림이 아닌 운영 정책으로 관리할 수 있는 체계가 마련되었다.