오픈소스 AI 탐지기 성능 한계

주요 오픈소스 AI 텍스트 탐지 모델 6종을 동일한 프로토콜로 평가한 결과, 6종 중 4종이 오검출률(FPR) 0.5% 기준을 달성하지 못하는 것으로 나타났다.

주요 발견 사항

• 기준 미달: MAGE 모델은 일반 인간 웹 텍스트의 26%를 점수 0.9999 이상으로 잘못 분류하여 0.5% FPR 달성이 불가능했다. OpenAI의 기존 RoBERTa 탐지기는 최신 생성 모델에 대해 AUC 0.31로 동전 던지기보다 낮은 성능을 보였다.
• 인간화 텍스트 취약: 문장을 다듬거나 인간처럼 보이게 변형한(humanizer-paraphrased) AI 텍스트를 탐지하는 능력은 극히 낮았다. 가장 성능이 좋은 모델조차 **42%**의 탐지율(recall)을 기록했으며, 두 번째로 좋은 모델은 4%에 불과했다.
• 비원어민 텍스트 오검출: 모든 모델이 TOEFL 에세이 등 비원어민 영어 텍스트를 기본 비율보다 과도하게 AI로 분류하는 체계적인 오류를 보였다.

모델별 성능 (FPR 0.5% 기준)

| 모델 | ROC-AUC | 원본 AI 탐지율 | 인간화 AI 탐지율 | 최신 모델 탐지율 | | :--- | :--- | :--- | :--- | :--- | | tropa-mini | 0.968 | 93.2% | 41.6% | 33.6% | | desklib/ai-text-detector-v1.01 | 0.875 | 83.9% | 4.0% | 1.8% | | SuperAnnotate/ai-detector | 0.824 | 0.5% | 1.4% | 0.6% | | Hello-SimpleAI/chatgpt-detector-roberta | 0.571 | 0.8% | 0.4% | 0.2% | | yaful/MAGE | 0.507 | - | - | - | | roberta-large-openai-detector | 0.313 | 0.0% | 0.1% | 0.0% |

• 참고: MAGE는 어떤 임계값에서도 0.5% FPR을 달성할 수 없음.

이번 평가는 공개 데이터셋(NBER, TOEFL, FineWeb 등)과 최신 프론티어 모델(GPT-5.x, Claude Opus 5, Gemini 3.x) 생성 텍스트를 대상으로 수행되었으며, 전체 데이터셋과 방법론은 Hugging Face 모델 카드를 통해 공개되어 재현 가능하다.