FAST: 데이터 파이프라인, 이제 웹에서

네이버페이 인텔리전스플랫폼팀은 데이터 활용을 위해 흩어져 있던 배치 방식을 FAST로 통합했다. FAST는 FDC automated self tasker의 약자로, 웹에서 입력만 하면 Airflow DAG로 배포되는 데이터 파이프라인 생성 도구다.

기존에는 목적에 따라 방식이 제각각이었다.

• Zeppelin Cron: 노트북에 스케줄을 걸어 주기적으로 실행
• Airflow 기반 배치: 데이터 엔지니어가 직접 DAG 생성
• Redash Scheduled Query: 대시보드 갱신용 배치 운영

이 구조는 사용자와 운영자 모두에게 부담이 컸다. 비개발자는 YAML, git, jenkins, github 같은 지식 장벽을 넘어야 했고, 수정할 때마다 데이터 엔지니어와의 커뮤니케이션이 필요했다. 또한 Redash는 주기적 메일링이 불편했고, 무거운 쿼리로 배치가 실패하는 경우도 있었다.

FAST는 이런 문제를 줄이기 위해 웹 기반의 직관적인 생성 흐름을 택했다. 실제 배치는 안정성과 유지보수를 위해 Airflow를 쓰고, 웹에서는 Hive(JDBC), Bash, TextMailing, ScreenshotMailing, Join Task 같은 작업을 쉽게 정의하도록 했다. 사용자는 필요한 Task를 추가하고 필수값만 채우면 되며, 입력한 파이프라인은 Python 코드와 YAML 설정 파일로 자동 변환된 뒤 Airflow로 배포된다.

핵심 기능도 실사용에 맞춰 구성됐다.

• 배치 조회와 배치 생성을 웹에서 처리
• Task별 쿼리 검증으로 실행 전 오류 탐지
• 자주 쓰는 패턴은 템플릿으로 제공
• 다른 유저의 배치를 복사하거나 배포 이력 확인, 롤백, 배치 복제 가능
• 팀 계정(키탭) 지원으로 협업 편의성 강화

도입 전에는 사용자가 개발환경 세팅부터 YAML 학습, 예시 코드 작성, 배포 실패 대응까지 직접 해야 했다. 도입 후에는 기존 예시를 보고 입력값만 넣어 저장·배포하면 되어, 필요한 지식이 SQL과 FAST 사용법 정도로 줄었다.

팀은 FAST를 통해 사용자의 진입 장벽을 낮추고, 산발적으로 흩어진 컴포넌트 관리와 커뮤니케이션 비용도 줄였다. 이후에는 비개발자용 AutoML과 pyspark 지원을 추가해, 배치 도구를 넘어 All-in-one 데이터 리터러시 플랫폼으로 확장할 계획이다.