올리브영의 데이터 엔지니어링

올리브영의 데이터 엔지니어링은 데이터를 유용한 상태로 필요한 이에게 제공하는 것을 목표로 하며, 단순한 데이터 파이프라인 개발을 넘어 데이터 프로세스 수립 및 데이터 플랫폼 구축을 포함하는 넓은 범위를 다룬다.

기존에는 IDC 기반의 전통적 ETL 시스템을 사용하여 원본 DB 소스를 **Data Warehouse(DW)**에 적재하고 BI 및 분석 업무에 활용해 왔다. 하지만 급증하는 데이터 수용과 다양한 데이터 제공 요구사항을 해결하기 위해 새로운 설계가 필요했다.

이에 따라 올리브영은 확장성이 뛰어난 **GCP(Google Cloud Platform)**를 도입하여 데이터 플랫폼을 재구성했다. 현재는 Airflow와 Spark를 통해 다양한 원천 데이터를 수용하고, BigQuery를 활용한 강력한 분석 환경을 제공하고 있다.

또한 클라우드의 장점을 살려 로그 수집 기능까지 확장하며 데이터 엔지니어링의 범위를 넓혔으며, 향후 MSA 아키텍처를 통한 데이터 서비스 플랫폼으로의 추가 확장을 추진 중이다.