브라우저에서 AI 텍스트를 자동 감지하는 로컬 도구 'Deckard' 공개, Pangram 대비 성능 한계와 활용법

AI 텍스트 감지 시장에서 Pangram이 사실상 유일한 주요 서비스인 가운데, 프라이버시 보호와 비용 절감을 위해 로컬에서 작동하는 AI 감지 도구 Deckard가 공개됐다. Pangram은 감지율 99.66%, 오탐지율 0.004%로 높은 정확도를 자랑하지만, 모든 텍스트를 제3자 서버로 전송해야 하는 프라이버시 문제와 API 사용 비용이 발생한다.

Deckard는 Chrome 확장 프로그램으로, Mac에서 Gradient MLX 4-bit 모델을 로컬에서 실행해 웹 페이지의 AI 생성 텍스트를 실시간으로 마킹한다. 별도 웹 서버 없이 Chrome native messaging으로 모델과 통신하며, 활성 시 메모리 약 400MB~1.2GB를 사용하지만 5분간 미사용 시 자동으로 종료되어 배터리 소모를 최소화한다.

로컬 모델 성능과 한계

저자가 벤치마킹한 결과, 로컬 모델의 성능은 Pangram에 비해 현저히 낮다. 가장 성능이 좋은 Gradient MLX 4-bit 모델조차 오탐지율 2.712%, AI 텍스트 적중률 52.35%에 그쳤다. 이는 Pangram의 99.66% 감지율과 비교할 수 없는 수준이다.

• Gradient MLX 4-bit: 오탐지율 2.712% / 적중률 52.35%
• EditLens RoBERTa-large: 오탐지율 2.484% / 적중률 56.06%
• Vanguard: 오탐지율 2.267% / 적중률 44.92%

실용적 활용과 전망

성능이 낮음에도 불구하고, 저자는 Deckard를 유용한 도구로 평가한다. 오탐지율이 약 2%임을 인지하고 단일 플래그를 AI 사용의 확실한 증거로 취급하지 않는다면, 사전 필터링 도구로서 충분히 가치가 있다는 설명이다. 실제로 YouTube의 AI 요약이나 블로그의 AI 스니펫을 성공적으로 식별했다.

향후 몇 년 내 소셜 네트워크들이 AI 콘텐츠 태깅을 위해 자동 스캔을 도입할 것으로 예상되는 가운데, 저자는 현재 로컬 모델보다 2배에서 10배 더 성능이 좋은 소형 로컬 모델의 등장을 기대하고 있다. Pangram의 프로덕션 모델보다 크기가 훨씬 작은 로컬 모델들이 등장하면 Deckard의 성능도 크게 향상될 전망이다.