카카오 데이터서비스, PR 기반 개인화 Airflow 테스트 환경 'AirZone' 공개

카카오 데이터서비스 조직이 기존 파이프라인 테스트 과정의 비효율을 해결하기 위해 개인화된 Airflow 테스트 환경 **'AirZone'**을 공개했다. 기존에는 로컬 환경 구축, 개발용 Airflow 동기화 대기, 테스트용 컨테이너 접속 등 복잡한 준비 작업이 필요했으며, 프로덕션 자원 공유로 인한 간섭 문제도 발생했다.

AirZone은 GitHub PR을 사용자 접점으로 삼아, PR 생성 시 자동으로 독립적인 Airflow 환경을 배포한다. 사용자는 Kubernetes나 Helm 지식이 없어도 링크 클릭만으로 브라우저 기반 IDE(Jupyter, VS Code for Web)를 통해 DAG를 수정하고 즉시 테스트할 수 있다.

핵심 설계 및 아키텍처

• PR 단위 격리: 레포명-PR번호를 Kubernetes 네임스페이스로 지정해 Airflow 웹 서버, 스케줄러, PostgreSQL, Jupyter 등을 완전히 분리한다. 이를 통해 다른 프로젝트의 스케줄링이나 자원 점유에 영향을 주지 않는다.
• 비동기 배포 구조: airzone-api는 요청 유효성만 검증하고 즉시 응답하며, 실제 배포는 Kubernetes Job이 Helm 차트를 실행해 처리한다. 실패 시 Job 로그를 통해 원인 추적이 용이하다.
• 하둡 인증 연동: Kerberos 인증을 위해 사용자 개인 키탭(keytab)을 주입하거나 공용 키탭을 대체 사용하며, 프로덕션과 동일한 방식으로 하둡 데이터 접근을 허용한다.

운영 및 개선 사항

Beta 운영 기간 동안 수집된 피드백을 반영해 정식 배포 전 기능을 보강했다. 초기 Jupyter 편집기의 체크포인트 파일 문제로 인한 반영 지연을 해결하기 위해 VS Code for Web과 로컬 IDE 연결을 추가 지원했다. 또한, 14일 이상 방치된 환경은 CronJob을 통해 자동 삭제하여 자원 낭비를 방지한다. 도입 후 크루들은 인프라 설정 없이 5분 내외로 테스트 환경을 확보할 수 있게 되었으며, 상시 운영용 개인 Airflow 환경 구축 가이드도 함께 제공된다.