AI 플랫폼 구축기: GPU 도입부터 Kubeflow까지

기존 모델 서빙은 MLflow 등록 이후에도 ML 엔지니어가 직접 Container 이미지를 만들고 운영 GPU 서버에 배포해야 하는 구조였다. 반복 수작업과 환경 차이로 속도와 안정성 모두에 부담이 컸다.

이를 해결하기 위해 카카오페이는 표준화, 확장성, 통합을 기준으로 Kubeflow를 선택했다. Airflow나 MLflow만으로는 장기 운영과 확장성에서 한계가 있다고 보고, 이미 쿠버네티스 기반 운영이 중심인 환경에 맞춰 온프레미스 AI 플랫폼을 설계했다.

새 플랫폼은 두 사용자군을 분리해 지원한다.

• AI 전문가는 Kubeflow Pipeline으로 학습부터 모델 등록까지 자동화한다.
• 서비스 개발자는 자체 웹 콘솔로 모델을 간단히 호출하고 배포한다.

이후 성능과 비용을 동시에 맞추기 위해 H200 GPU, RDMA, Infiniband를 도입하고, 일반 워커와 GPU 워커를 나눈 하이브리드 클러스터를 구성했다. GPU 노드에서는 GPUDirect를 활용해 CPU 병목을 줄이고 대규모 분산 학습 효율을 높였다.

GPU 활용률을 높이기 위해 MIG(Multi-Instance GPU) 도 적용했다. 하나의 물리 GPU를 여러 개의 격리된 인스턴스로 분할해 여러 워크로드가 동시에 안정적으로 사용할 수 있게 만들었다.

서빙 계층에서는 KServe와 Knative를 검토했지만, Scale to Zero는 첫 요청 시 최대 6분 이상 걸릴 수 있는 Cold Start 문제가 있었다. 서비스 응답성을 우선해 minReplicas를 1로 유지하는 쪽으로 결정했고, 비용 효율보다 안정성을 선택했다.

이후에는 GPU를 더 알뜰하게 쓰기 위해 사용처(학습/추론), 사용 모델, 모델 크기 기준으로 분할 전략을 세웠다. 마지막으로 GPU 전체 자원과 할당량, Idle Resource, GPU 사용량을 모니터링해 낭비를 줄이고 분할 정책을 지속적으로 개선하고 있다.