카카오, 외부 벤더 의존 탈피한 자체 하둡 플랫폼 'KHP' 공개

카카오가 외부 벤더 솔루션의 높은 운영 비용과 기능 변경의 어려움을 해결하기 위해 자체 개발한 하둡 플랫폼 **Kakao Hadoop Platform(KHP)**을 공개했다. 2019년 하둡 솔루션 비용 리스크가 대두된 이후, 카카오는 대규모 클러스터 운영의 유연성과 비용 효율성을 확보하기 위해 직접 플랫폼을 구축하고 운영해 왔다.

KHP의 5가지 핵심 구성 요소

KHP는 하둡 생태계의 호환성 검증부터 배포, 운영 관리까지 전 과정을 커버하는 5가지 구성 요소로 이루어져 있다.

• khp-package: 하둡 컴포넌트들의 호환성을 검증한 배포판 관리
• khp-ansible: 클러스터 설치, 설정 관리, 제어(start/stop), 업그레이드 및 마이그레이션을 담당하는 배포 툴
• khp-agent: 각 호스트에서 메트릭을 수집하고 Grafana 대시보드 구성을 지원하는 에이전트
• khp-server: 클러스터 상태 시각화, 프로세스 제어, 알람 생성 및 감사(Audit) 로그 관리
• khp-log: 로그 적재 및 검색을 지원하는 서비스

운영 효율성 및 마이그레이션 전략

khp-ansible은 멱등성(Idempotency)을 보장하는 설계를 통해 설치와 설정 배포를 간소화하며, 심볼릭 링크를 활용한 바이너리 교체 방식으로 패치 업그레이드 시 빠른 롤백이 가능하다. 또한 기존 솔루션에서 KHP로의 전환을 위해 물리적 데이터 복사 없이 바이너리만 교체하는 In-place 마이그레이션 기능을 지원하여 시간과 비용을 크게 절감했다.

모니터링 측면에서는 khp-agent가 수집한 데이터를 Druid로 전달하고, 임계값 초과 시 카카오톡이나 카카오워크로 알람을 발송하는 체계를 갖춰 운영 안정성을 높였다.