카카오, HBase 네트워크 패킷 분석 오픈소스 'hbase-packet-inspector' 공개

카카오가 HBase 리전서버의 네트워크 패킷을 분석해 요청과 응답 정보를 추출하는 오픈소스 도구 hbase-packet-inspector(HPI)를 공개했다. 기존 모니터링 툴로는 파악하기 어려웠던 상세한 액세스 패턴과 성능 병목 지점을 확인하기 위해 개발되었다.

배경 및 필요성

카카오는 수십 개의 HBase 클러스터를 운영 중이며, 5명이 넘는 인력이 이를 관리하고 있다. 특정 로우키에 대한 과도한 액세스나 특정 리전에서의 increment 연산 집중 등 세부적인 워크로드 문제는 기존 지표로는 식별이 어려워, 네트워크 레벨에서의 정밀한 분석 도구가 필요했다.

SQL 기반 분석 및 아키텍처

HPI는 캡처한 패킷 데이터를 메모리에 내장된 H2 데이터베이스에 적재하며, 사용자가 SQL 쿼리를 통해 유연하게 데이터를 조회할 수 있도록 지원한다. 이를 통해 '가장 많이 액세스되는 로우키 목록'이나 '특정 리전의 평균 응답 시간' 등 다양한 조건에 맞는 분석이 가능하다. 웹 기반 SQL 인터페이스를 내장해 별도의 UI 개발 없이 즉시 사용 가능하다.

Kafka 연동 및 확장성

메모리 기반의 한계를 극복하고 클러스터 전반의 실시간 분석을 위해 Apache Kafka 전송 기능을 추가했다. 리전서버나 애플리케이션 서버에서 실행된 HPI는 데이터를 Kafka로 전송하며, 카카오는 이를 Spark streaming으로 가공해 Druid OLAP 엔진에 적재하고 Pivot으로 시각화하여 핫스팟 분석 및 자동 대응 프로세스를 고도화하고 있다.