컬리, Argo Workflows와 SageMaker로 추천 모델 일일 자동 배포 파이프라인 구축

• 컬리 AI검색추천개발팀이 Argo Workflows와 AWS SageMaker를 결합해 추천 모델 학습부터 서비스 전환까지 자동화하는 파이프라인을 구축함
• 세대(Generation) 기반 전환 구조를 적용해 추론 엔드포인트, 유저 임베딩, 검색 인덱스를 한 세트로 묶어 동시 교체함
• 7월 중순부터 8월 하순까지 4개 지면에서 진행한 A/B 테스트에서 장바구니 담기 클릭률이 지면별로 3~13% 상승함
• 상품 발견성 개선으로 클릭한 유저 1인당 클릭 상품 수는 평균 약 8%, 총 클릭 수는 평균 약 9% 증가함

아키텍처 및 도구 선택

• 오케스트레이션은 범용 워크플로우 엔진인 Argo Workflows가, GPU 학습 및 추론 런타임은 관리형 서비스인 SageMaker가 담당하는 하이브리드 구조를 채택함
• SageMaker의 Model Registry를 활용해 모델 승인 상태를 관리하고, ProductionVariant의 Weight를 이용해 신규 모델을 트래픽 0으로 미리 배포함
• Inference Component를 사용하여 챔피언(현재 서비스)과 챌린저(신규 후보) 모델을 같은 엔드포인트에서 비교 검증함

세대 전환 및 롤백 전략

• ElastiCache의 sdm:active 키 하나만 변경하는 방식으로 세대를 전환하며, 이전 세대는 즉시 삭제하지 않고 유지하여 롤백 가능함
• UpdateEndpoint 호출 시 엔드포인트 Fleet 전체가 교체되는 문제를 발견하여, 모델 로딩 직후 Forward pass를 실행하는 웜업 로직을 추가해 지연을 방지함
• 파이프라인 실행 중 실패 시에도 멱등성(idempotency)을 보장하여 재실행 시 이미 완료된 단계는 건너뛰고 중단된 부분부터 이어가도록 설계함