카카오 데이터정보플랫폼팀, 데이터 수집부터 ML/AI 활용까지 전 과정 플랫폼화

카카오 데이터정보플랫폼팀은 카카오 크루가 데이터를 쉽게 다룰 수 있도록 데이터 수집부터 정보 추출까지의 전 과정을 플랫폼화하여 SaaS 형태로 제공합니다. 이 팀은 반복적인 작업을 자동화하고 데이터 기반 의사결정을 돕는 다양한 서비스를 개발 및 운영합니다.

주요 서비스 영역

팀이 운영하는 플랫폼은 데이터의 라이프사이클에 따라 다음과 같이 구성됩니다.

• 데이터 수집 및 저장: Data Collection SDK와 Server를 통해 데이터를 수집하고, Realtime/Batch Process Pipeline과 Data Lake를 활용해 가공 및 저장합니다.
• 데이터 분석 및 시각화: Data Analytics, Self Service BI, Analytics Notebook Service 등을 통해 데이터 분석을 지원합니다.
• 데이터 관리: Data Discovery, Access Control, Quality Monitoring, Lineage Service로 데이터 거버넌스를 강화합니다.
• 데이터 활용 및 실험: Self Service Data Preparation, AB Test, Realtime Data Pipeline, Data Query, MLOps Platform Service 등을 통해 데이터 활용과 실험을 돕습니다.

기술 스택 및 업무 문화

플랫폼 서비스 개발을 위해 Python, Scala, Kotlin, Java를 주 언어로 사용하며, DevOps(k8s, argocd), 실시간 파이프라인(kafka, flink), 배치 파이프라인(airflow), 빅데이터(hadoop, spark, trino), 저장소(mysql, redis) 등 다양한 기술을 적용합니다.

업무 방식은 비대면 환경에 최적화된 비동기적 소통을 지향하며, 글로 기록하고 논의하는 문화를 정착시켰습니다. 데이터로 가설을 검증하고 개선 사항을 측정하는 데이터 중심적 사고와, 팀 내에서 문제를 해결하는 주도성을 중요한 역량으로 강조합니다.