실시간 OLAP을 위한 Apache Pinot 운영 노하우

Apache Pinot은 대용량 데이터 스트림을 실시간으로 수집하고 분석할 수 있는 분산형 OLAP 데이터 저장소다. 실시간 데이터와 배치 데이터를 결합해 분석할 수 있으며, 특히 지속적으로 변경되는 데이터를 즉시 반영하는 Upsert 기능을 지원한다.

서비스 안정성을 높이기 위해 Deep Store(HDFS 등)를 연동하여 데이터 손실을 방지하고, 서버 장애 시 쿼리 실패를 최소화하기 위해 Server Failure Detector 설정을 활용하는 것이 중요하다.

Pinot 클러스터의 주요 컴포넌트는 다음과 같다:

• Broker: 쿼리 요청 라우팅 및 결과 취합
• Server: 세그먼트 데이터 저장 및 쿼리 처리
• Controller: 클러스터 메타데이터 및 상태 관리