"프론티어 AI가 의료 전문 툴을 이겼다"는 논문 재검증해보니 — 채점자간 일치도 0.10, 채점자가 곧 참가자

Nature Medicine에 게재된 논문이 GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6 등 프론티어 모델이 OpenEvidence나 UpToDate AI 같은 전문 의료 AI 도구보다 성능이 뛰어나다고 주장하여 논란이 되고 있습니다.

하지만 해당 연구의 방법론을 재검증한 결과, 다음과 같은 심각한 결함이 발견되었습니다.

• 낮은 채점자 간 일치도: 항목별 점수에 대한 Krippendorff’s alpha가 0.10~0.20 수준으로, 채점자들 사이의 일관성이 매우 낮음.
• 평가 설계의 한계: 100개의 쿼리, 단일 센터 데이터, 이미 구형이 된 모델들을 대상으로 수행된 연구라는 한계가 있음.
• 평가 방식의 편향성: 거절 응답(refusals)을 총점 계산에서 제외하는 등 결과가 왜곡될 수 있는 설계가 포함됨.

이번 논란은 의료 AI 벤치마크 설계 시, 단순히 일반 모델의 성능을 보여주는 것을 넘어 평가 인프라의 신뢰성을 어떻게 확보할 것인가라는 중요한 과제를 던져주고 있습니다.