NeurIPS, AI 탐지기로 178편 논문 기각

NeurIPS Position Paper Track이 독점 AI 탐지 도구인 Pangram을 사용해 전체 제출 논문의 **18.4%**인 178편을 인간 검토나 이의 제기 절차 없이 기각했다. 이 과정에서 탐지기의 신뢰성과 공정성에 대한 심각한 결함이 드러났다.

탐지기 오작동 및 신뢰성 문제

독립 연구자들이 트랙 의장 3인의 최근 논문을 동일한 탐지기에 통과시킨 결과, **24%에서 69%**까지 AI 생성으로 판정되었다. 이는 의장들이 자신의 규칙에 따라 기각될 위험이 있었음을 의미한다. Pangram의 기본 설정은 전체 제출 논문의 **42.7%**를 90-100% AI로 분류했으며, 이를 낮추기 위해 텍스트 윈도우를 축소해 최종 기각률을 12.7%로 조정했다.

비영어권 연구자 불이익 및 절차적 결함

Stanford 연구에 따르면 비영어권 화자(ESL)의 인간 작성 에세이 중 **61.22%**가 AI로 오인된다. NeurIPS는 이러한 인구통계학적 보정 데이터를 공개하지 않아 비영어권 연구자에게 불리한 구조적 편향이 존재했다. 또한, 탐지기 점수가 0.5를 넘고 AI 사용을 부정한 22편의 논문은 블랙박스 점수를 근거로 저자의 거짓말을 입증하는 용도로 사용되었다.

후속 조치

기각된 논문은 부정행위 기록으로 남지 않으며, ICLR(9월 25일 마감)이나 ICML 등에 재제출할 수 있다.