VLM 벤치마크의 임상용어 지우기
VLMs can score well on benchmarks, while silently erasing meaningful terms and including hallucinate bias [P]
·2026.08.01 18:27
흉부 X선 보고서 생성에서 기존 지표가 임상 용어 삭제와 편향을 놓친다는 연구가 나왔다.
흉부 X선 **보고서 생성(RRG)**에 사용되는 VLM이 임상적으로 유용하지 않은 보고서를 생성해도 기존 벤치마크 지표에서 높은 점수를 받을 수 있다는 연구가 제시됐다.
기존 지표는 다음과 같은 출력을 상대적으로 높게 평가하는 문제가 있었다.
- 반복적인 템플릿 중심의 보고서
- 임상 용어가 빠진 보고서
- 이상 소견이 없는 정상 보고서
그 결과 빈도가 낮지만 임상적으로 중요한 단어가 생성 과정에서 사라지고, 보고서는 반복적이고 단조로워질 수 있다. 연구진은 VLM이 의미 있는 용어를 얼마나 삭제하는지와 편향된 용어를 얼마나 도입하는지를 측정하는 검증 프레임워크를 제안했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.