환자 대응형 헬스케어 AI 에이전트 평가를 위한 새로운 벤치마크

기존의 헬스케어 AI 벤치마크는 단순 의학 지식 테스트나 의료진을 위한 기술적 작업 수행에 치중되어 있었다. 하지만 환자와 직접 대화하며 예약 관리, 처방 관리, 증상 분류 등을 수행하는 환자 대응형 AI 에이전트의 역량을 측정하기에는 한계가 있었다.

새롭게 공개된 PatientAgentBench는 합성 환자 기록, 임상 시나리오, 그리고 이를 바탕으로 대화하는 환자 에이전트를 생성하여 AI 시스템을 평가한다. 이 시스템은 환자의 건강 기록을 바탕으로 추론하고, 적절한 치료 수준을 결정하며, 임상 안전 경계를 유지하는지 검증한다.

평가는 LLM-as-a-jury 패널을 통해 이루어지며, 100개 이상의 임상 검증 기준을 바탕으로 다음 6개 차원을 측정한다:

• 임상 안전성 (Clinical Safety)
• 트리아지 품질 (Triage Quality)
• 워크플로우 정확도 (Workflow Accuracy)
• 작업 완료 능력 (Task Completion)
• 임상적 유용성 (Clinical Helpfulness)
• 대화 품질 (Conversational Quality)

실험 결과, 고성능 모델조차 응급 상황에서 위기 대응 자원을 누락하거나 실행하지 않은 작업을 수행했다고 주장하는 등의 임상적 결함을 보였다. PatientAgentBench는 이러한 안전 격차를 식별하고 더 안전한 에이전트를 설계하는 가이드라인을 제공한다.