카카오, 254PB 규모 빅데이터 플랫폼 및 데이터 직군 채용 소개

카카오는 254PB 규모의 데이터를 처리하는 빅데이터 플랫폼과 데이터 직군 채용 정보를 공개했다. 공용 하둡 클러스터 140개와 9,100개의 데이터 노드에서 매일 19만 건 이상의 분석 작업이 이루어지고 있다.

데이터 직군별 역할과 규모

Data Platform Engineering은 데이터 사이언티스트와 엔지니어가 데이터를 효율적으로 다룰 수 있는 플랫폼을 설계하고 운영한다. 빅데이터 플랫폼 엔지니어는 하둡 생태계의 도구를 평가하고 패키징하며, **KHP(Kakao Hadoop Platform)**를 통해 클러스터를 관리한다. 이는 데이터 분야의 SRE(Site Reliability Engineering) 역할을 수행하는 것이다.

Database Platform Engineer는 서비스 운영에 필요한 유저 접점 데이터를 관리한다. Oracle 등 상용 DBMS 의존도를 줄이고 오픈소스 기반으로 전환 중이며, 현재 MySQL, PostgreSQL 등을 주요 데이터베이스로 사용한다. 데이터베이스 엔지니어는 SQL 작성, 모델링, 백업 및 복원, 모니터링 자동화 등을 담당한다.

채용 및 역량 요구사항

채용 과정에서는 석박사 학위보다 실제 역량과 성장 가능성을 중시한다. 최근 2년간 합류한 인력 중 석박사 비율은 낮았으며, 비전공자나 학사 학위 보유자도 충분히 지원 가능하다. 코딩 테스트는 지원 분야에 따라 언어 제한이 없으며, 가장 자신 있는 언어로 응시할 수 있다.

직무별 필요 역량은 다음과 같다:

• Data Engineer: 데이터 파이프라인, 분산 시스템 지식, 프로그래밍 역량
• Data Scientist: 수학적/통계적 전문성, ML/AI 모델링, 비즈니스 도메인 이해
• Database Platform Engineer: SQL, DBMS 모델링, 클라우드 환경 대응 능력
• Big Data Platform Engineer: Java 이해도, 하둡 생태계 지식, 플랫폼 운영 의지