온타리오 감사원, 의사용 AI 노트 작성기가 기본 사실을 반복적으로 틀린다고 밝혀

온타리오주 감사관실이 보건부의 AI Scribe 프로그램 조달을 감사한 결과, 승인된 20개 시스템에서 환자 진료 메모의 핵심 오류가 광범위하게 드러났다.

평가는 모의 의사-환자 녹음을 바탕으로 AI가 생성한 메모를 의료 전문가가 원본과 대조하는 방식으로 진행됐다. 결과는 다음과 같았다.

• 9개 시스템은 녹음에 없던 치료 계획 제안이나 사실을 만들어냈다.
• 12개 시스템은 약물 정보를 잘못 적었다.
• 17개 시스템은 환자의 정신건강 관련 핵심 세부사항을 놓쳤다.

샘플 메모에는 녹음에서 언급되지 않은 종괴나 환자의 불안 같은 내용도 사실처럼 들어갔다.

문제는 성능만이 아니었다. 조달 평가에서 온타리오 내 거점 보유가 **30%**를 차지한 반면, 메모 정확도는 4%, 편향 통제와 위험·개인정보 평가는 각각 **2%**에 불과했다.

OntarioMD는 의사에게 AI 메모를 수동 검토하라고 권고했지만, 승인된 시스템 중 어느 것도 정확성 확인을 의무화하는 장치를 갖추지 못했다. 보건부는 현재 5,000명 이상의 의사가 프로그램에 참여 중이며, 알려진 환자 피해 보고는 없다고 밝혔다.