SK플래닛, Trino 도입으로 전사 데이터 실시간 분석 환경 구축

SK플래닛은 자사 빅데이터 플랫폼 DIC(Data Integration Cluster)의 데이터 리드 타임 단축과 실시간 분석 강화를 위해 오픈소스 Trino를 전사 데이터 분석 엔진으로 도입했다. 기존 Hadoop 기반 환경은 운영계 데이터가 하루 전(D-1) 기준으로 적재되어 데이터 신선도 저하와 대용량 이동 시 리소스 낭비 문제가 있었다.

Trino는 데이터 마이그레이션이나 적재 없이 다양한 데이터 소스에 연결만으로 접근할 수 있어, 이종 DB 간 조인 및 실시간 조회에 최적화되어 있다. SK플래닛은 Trino Gateway를 활용해 단일 장애점(SPOF)을 제거하고 클러스터 이중화를 구현했으며, Apache Ranger와 LDAP을 연동해 전사 구성원의 데이터 접근 권한을 정밀하게 제어했다.

도입 결과, 1,000만 Rows 미만의 소용량 데이터 처리에서 기존 Hive보다 빠른 성능을 확인했다. 이를 통해 마케팅 타겟팅 및 서비스 분석의 리포트 주기가 일간에서 시간 단위로 단축되었으며, 사내 데이터 카탈로그 시스템 MeDic과 연동해 사용자가 SQL 문법 변경만으로 실시간 데이터를 활용할 수 있게 됐다.