의료 AI, 오경보 홍수로 현장 신뢰 잃다

미시간 병원의 한 레지던트가 패혈증 감지 AI 도입 후 겪은 경험을 통해, 의료 AI가 실제 임상 환경에서 직면한 **'증명 문제(proof problem)'**를 조명한다.

과도한 오경보와 신뢰 붕괴

병원 관리자층은 15분마다 환자 기록을 스캔해 패혈증 위험 신호를 감지하는 알고리즘을 도입했다. 그러나 해당 도구는 거의 모든 환자에게 경보를 발생시켰고, 이는 '양치기 소년' 효과처럼 의료진의 무감각을 초래했다. 결국 레지던트들은 알림이 뜰 때 환자 곁으로 달려가지 않게 되었으며, 도구에 대한 신뢰를 완전히 상실했다.

사전 검증 부재의 위험성

이 사례의 핵심 문제는 해당 AI가 실제 병동이나 응급실의 복잡한 환경에서 충분한 테스트 없이 수백 개 병원에 일괄 배포되었다는 점이다. 기술적 성능과 실제 임상 현장의 수용성 및 유용성 사이의 간극이 해결되지 않은 채 상용화된 결과, 오히려 의료 현장의 효율성을 해치는 역효과를 낳았다.