컬리 데이터사이언스팀, 수요예측 모델 운영과 Leakage 방지 실무 공유

컬리 데이터사이언스팀은 새벽배송 물류 효율화를 위한 수요예측 모델의 개발 및 운영 경험을 공유했다. 팀은 상품 적시 발주, 재고 유지, 부자재 확보 등을 지원하며, 단 **1%**의 정확도 차이가 물류 비용에 큰 영향을 미치므로 정교한 예측이 필수적이다.

모델 운영과 협업 원칙

모델 배포 후 현장 운영 과정에서는 사후 작업, 성능 측정, 커뮤니케이션 비중이 개발보다 높다. Anomaly Detection 시스템을 통해 데이터 누락이나 이상치를 관리하며, 비즈니스 변화나 외부 환경(명절, 프로모션 등)에 민감하게 대응한다. 모델링 한계 시에는 현업 프로세스 변경이나 룰 기반 대응을 병행한다.

Leakage 방지와 시계열 모델링

전통적 시계열 모델보다 LGBM, Random Forest 등 트리 기반 Regression 모델을 주로 사용한다. 시계열 예측에서 빈번한 Leakage(누수) 문제를 방지하기 위해 예측 수행 시점과 데이터 수집 가능 시점을 엄격히 구분한다. 예를 들어 하루 전 예측 모델에서는 n=2부터 lagging 피처를 생성하여 미래 정보 유입을 차단한다.

프로젝트 관리와 기대치 조정

과대/과소 예측이 혼재하는 것보다 한 방향으로 꾸준히 예측하는 것이 모델 유용성을 높일 수 있다. 복잡한 모델링보다 목적에 맞는 단순한 공식이 유용한 경우도 있다. 프로젝트 초기 WBS를 통해 요청자와 결과물 형상을 합의하고, 구두 협의보다 실제 샘플을 통해 기대치를 맞추는 것이 중요하다.