12년 된 예측 논문이 여전히 통하는 이유

2025 KDD에서 2014년 EMBERS 논문이 applied-data-science test-of-time award를 받았다. 이 논문은 30명 공동저자, 8개 기관이 참여한 작업으로, 공개 데이터를 활용해 사회 불안과 여러 사건을 예측하는 방법을 다뤘다.

EMBERS는 5개 머신러닝 모델을 묶어 쓴 시스템이었다. Bayesian classification과 logistic regression 같은 기법으로 소셜미디어, 뉴스, 블로그, 경제 지표, 위성 이미지 등을 분석해 10개 라틴아메리카 국가의 시위·선거 결과·금융 사건·보건 사건 같은 변화를 예측했다. 논문 발표 시점에는 이미 브라질의 2013년 대규모 시위 급증과 진정을 맞히며 주목받고 있었다.

핵심 기여는 모델 성능 자체보다 미래 경고를 평가하는 방식에 있었다. 개별 경고 하나씩을 보는 대신, 경고의 시간순열과 실제 사건의 시간순열을 bipartite matching으로 정렬해 가장 일관된 대응을 찾고, 가능한 한 non-crossing이 되도록 해 시간적 관계를 반영했다.

또 다른 중요한 아이디어는 여러 알고리즘의 결과를 한 번에 내지 않고, 각 모델의 강점과 비용에 대한 사전확률을 두고 Bayes’s rule로 계속 갱신하며 경고를 fusion하는 방식이었다. 경고가 많아도 혼란스러운 잡음이 되지 않도록, 서로 다른 강점을 가진 모델들의 출력을 체계적으로 합치는 접근이었다.

Srinivasan은 이런 Bayesian reasoning이 오늘날의 일반적인 supervised learning보다는 reinforcement learning, control theory, 그리고 agentic AI나 로봇 기반 physical AI처럼 행동을 선택하고 상황이 바뀔 때마다 믿음을 업데이트해야 하는 문제에서 더 잘 살아남는다고 본다. 새로운 실험을 고르고 결과에 따라 다음 선택을 바꾸는 과학 자동화에도 같은 논리가 계속 유용하다는 설명이다.