연구: AI 챗봇, 14달러로 심은 가짜 연구 인용

복단대학교 연구팀이 NDSS 2027에 채택된 논문 "From Public Posts to AI-Search Citations"을 통해 AI 챗봇이 허위 연구를 인용하는 취약점을 공개했다. 연구팀은 존재하지 않는 연구 기법과 가짜 통계를 만들어 중국 벤더에 14달러를 지급하고 Sohu, Toutiao, Zhihu 등에 홍보했다.

빠른 침투와 플랫폼 취약성

벤더는 28분 만에 13개 게시물을 올렸다. 1시간 이내로 Doubao(바이트댄스 챗봇, 월간 사용자 3억 8200만 명)가 해당 게시물을 인용하며 심어진 내용을 사실처럼 반복했다. 통제된 실험에서 10개 플랫폼 중 8개가 1주일 내 가짜 개념을 인용했다. 여기에는 ChatGPT, Google AI, Perplexity, Grok이 포함된다. Doubao는 첫날부터 인용을 시작했으며, 원본 게시물이 삭제된 후에도 인용을 계속했다.

출처 편향과 인용 패턴

연구는 인용 출처에서 상당한 편향이 있음을 밝혔다.

• 모회사 선호: 중국 챗봇은 모회사 도메인을 heavily 선호한다. Doubao 인용의 **25.9%**가 바이트댄스 소유 도메인으로, 이는 다른 플랫폼에서 해당 도메인이 받은 비중의 13.5배다. 바이두의 Wenxin도 바이두 사이트를 13.7배, 텐센트의 Yuanbao는 텐센트 사이트를 6.3배 더 많이 인용했다.
• 플랫폼 특이성: 게시 위치가 양보다 중요했다. 일반 워드프레스 블로그에 40개를 올려도 1주일간 인용이 0건이었지만, AI 엔진이 이미 신뢰하는 사이트의 게시물은 빠르게 인용됐다.
• DeepSeek 예외: 주요 테스트에서 DeepSeek만이 심어진 내용을 한 번도 인용하지 않았다.

AI 신뢰성에 대한 시사점

저자들은 경쟁이 없는 가짜 주제는 쉬운 사례지만, AI의 출처 링크가 사실 확인보다는 엔진이 신뢰하는 웹사이트를 나타낼 수 있음을 시사한다고 지적했다. 연구팀은 관련 10개 플랫폼에 모두 결과를 보고했다. 이 연구는 인용 메커니즘이 엄격한 사실 확인보다 신뢰 도메인을 우선시하여 저비용 허위 정보가 AI 답변에 지속될 수 있음을 경고한다.