[if kakao 2022] MLOps 플랫폼을 활용한 ML 모델 학습 파이프라인 설계

카카오페이는 모델별로 서빙 서버와 피처 테이블을 개별 구축해야 하는 중복 개발 문제와 운영 복잡성을 해결하기 위해 MLOps 플랫폼을 구축했다. 플랫폼은 피처 스토어, 모델 학습 파이프라인, 모델 서빙의 세 가지 핵심 컴포넌트로 구성된다.

모델 학습 파이프라인은 모델 학습 Workflow와 모델 레지스트리로 구분된다. Workflow 플랫폼으로는 AWS Step Functions를 채택했다. Airflow는 ML 최적화가 부족하고, AWS SageMaker Pipelines는 운영자가 모델 코드를 깊이 이해해야 하는 부담이 있었으나, Step Functions는 다양한 워크플로우 지원과 Python SDK를 통한 템플릿화가 용이하기 때문이다.

모델 레지스트리는 운영 난이도가 낮은 AWS SageMaker Model Registry를 선택했다. 오픈소스인 MLFlow에 비해 관리 리소스를 줄일 수 있다는 점이 결정적이었다. 이를 통해 데이터 사이언티스트는 모델 코드에만 집중하고, MLOps 운영자는 표준화된 템플릿으로 파이프라인을 관리할 수 있는 환경을 마련했다.