서로 다른 이력을 가진 1EB+ 규모의 HDFS 클러스터 연결: 과제와 설계 결정

LY Corporation은 검색, 이커머스, 메신저 등 다양한 서비스를 지원하기 위해 총 용량 1EB(엑사바이트) 이상의 대규모 데이터 플랫폼을 운영하고 있다. 이 플랫폼은 과거 LINE Corporation과 Yahoo Japan Corporation의 주요 클러스터가 결합된 형태로, 두 조직의 서로 다른 설계 철학과 운영 모델을 통합하는 과정에서 두 가지 주요 과제에 직면했다.

첫 번째는 데이터 급증에 따른 운영상의 과제다. 데이터 규모가 커짐에 따라 Capacity 관리, NameNode 부하, 네트워크 영향 등 스케일링 제약과 운영 병목 현상을 해결해야 했다.

두 번째는 조직 통합에 따른 데이터 플랫폼 간의 상호 연결이다. 서로 다른 설계 방식을 가진 플랫폼을 연결하여 데이터를 상호 활용할 수 있도록 연결 엔드포인트, 액세스 제어 단위, 데이터 전송 경로를 설계하는 것이 핵심이었다.

과거 LINE은 다양한 부서의 데이터 활용을 위해 웹 포털 기반의 권한 관리와 데이터 카탈로그를 구축하여 사용자 편의성을 높였으며, Yahoo Japan은 초기 특정 목적의 분석에서 시작해 점차 안정적인 운영이 용이한 전사적 기반으로 플랫폼을 진화시켜 왔다.