코로나가 끝났음을 어떻게 알았는가 (그리고 모델이 배워야 했던 것)

에어비앤비의 예측 데이터 과학 팀은 수요와 예약 등 수천 개 시장에 걸친 예측 모델을 운영하며, 예측 오차가 누적되면 비즈니스 리스크로 직결된다는 점을 인식하고 있다. 단순히 모델을 재학습하는 것을 하나의 행위로 보지 않고, 재조정(Refitting), 재규정(Respecifying), 유지(Holding) 라는 세 가지 독립된 의사결정으로 구분한다.

재조정은 동일한 모델 구조에 최신 데이터를 적용하는 가장 저렴한 옵션이지만, 최근 데이터가 비정상적인 경우 모델 성능을 저하시킬 수 있어 매번 리스크를 감수해야 한다. 재규정은 모델 구조나 특징을 변경하는 것으로, 모델이 근본적으로 잘못되었을 때 정확도를 높이는 핵심 수단이지만 검증과 배포에 큰 비용이 든다. 유지는 오차가 발생해도 개입하지 않는 것으로, 위기 상황이 종료된 후에도 모델이 충격(shock)을 정상치로 오인하는 것을 방지하는 데 중요한 역할을 한다.

대부분의 조직은 정기적인 스케줄에 따라 무조건 재조정을 수행하지만, 이는 모델이 더 이상 관련 없는 과거의 충격이나 이상치를 계속 학습하게 만드는 오류를 유발할 수 있다. 따라서 예측 모델의 드리프트를 감지할 때 단순히 데이터를 업데이트하는 것이 아니라, 모델 구조 변경이 필요한지 아니면 개입을 자제해야 하는지 세 가지 옵션을 냉정하게 비교하는 판단력이 필요하다.