카카오, 전사 리소스 모니터링 시스템 'KEMI' 공개

카카오가 전사 리소스를 통합 관리하는 모니터링 시스템 KEMI(Kakao Event Metering & monItoring)를 공개했다. KEMI는 서버와 컨테이너의 메트릭 데이터를 수집하는 KEMI-STATS와 로그를 분석하는 KEMI-LOG로 구성된다.

KEMI-STATS: 하이브리드 수집과 리소스 최적화

KEMI-STATS는 수만 대의 서버와 컨테이너를 모니터링하며, polling과 push 두 가지 방식을 병행한다. 물리 서버와 가상 머신은 OS 종류와 무관하게 SNMP를 통해 1분 단위로 데이터를 수집하며, 컨테이너는 push 방식으로 처리한다. 수집된 데이터는 Kafka와 Samza를 거쳐 OpenTSDB에 저장되고 Grafana로 시각화된다.

특히 리소스 효율화를 위해 사용량이 낮은 VM을 자동 탐지해 담당자에게 알림을 주는 Cuota 서비스를 제공한다. 이를 통해 불필요한 VM을 삭제하거나 통합하여 인프라 비용을 절감한다. 또한 etcd를 활용해 Poller 재시작 없이도 수집 항목을 동적으로 변경할 수 있는 확장성을 갖췄다.

KEMI-LOG: 대규모 로그 처리

KEMI-LOG는 하루 수백 기바이트 규모의 로그를 처리한다. Fluentd를 통해 수집된 로그는 Hadoop과 Kafka로 분산 저장된다. Hadoop에 저장된 데이터는 Hive 배치 작업을 통해 Elasticsearch로 인덱싱되어 Kibana에서 조회 가능하며, Kafka에 저장된 데이터는 Storm과 Redis를 활용한 KEMI Dike를 통해 실시간 알림을 생성한다.

로그 알림 규칙은 표준 SQL 형식으로 etcd에 저장되어 Storm 토폴로지 재시작 없이 동적으로 적용된다. 발생한 알림은 KEMI-STATS의 커스텀 메트릭과 연동되어 통합 대시보드에서 모니터링할 수 있다.