연구: AI 검색 링크의 39% 미사용

새로운 실증 연구가 DeepSeek, Qwen, Doubao, Yuanbao 등 4대 중국 AI 어시스턴트의 160,860개 정제된 인용 데이터를 분석한 결과, 표시된 출처와 실제 콘텐츠 생성 사이에 큰 괴리가 있음을 밝혔다. 감사 결과, 사용자에게 표시된 링크의 **39.3%**가 최종 답변의 단 한 문장에서도 인용되지 않은 것으로 나타났다.

출처 사용 현황 주요 발견

"What Do Chinese-Language Generative Search Engines Cite and Surface?"(arXiv:2607.15771)라는 제목의 이 연구는 웹 및 모바일 버전에서 614개의 질문을 각각 3회씩 테스트했다. 주요 지표는 다음과 같다:

• 미사용 각주: 나열된 링크의 **39.3%**가 답변 작성 시 모델에 의해 무시되었다.
• 누락된 브랜드명: 인용된 페이지에서 발견된 632,256개의 브랜드 언급 중 AI의 최종 출력에 나타난 비율은 **8.3%**에 불과했다.
• 유령 언급: 답변에서 추천된 이름의 **13.02%**가 인용된 출처에 전혀 등장하지 않아, 실시간 검색 결과보다 사전 학습된 기억에 의존함을 시사했다. 모호한 질문의 경우 이 비율은 **27.5%**로 상승했다.
• 반복 대 권위: 전통적인 도메인 권위 점수는 포함 여부에 영향을 미치는 11개 요인 중 10위를 기록했다. 반면, 여러 웹사이트에서의 반복 노출이 훨씬 더 중요했다. 11개 이상 링크에 이름이 등장할 경우 포함 확률이 **59.9%**인 반면, 단일 링크에 등장할 경우 **2.1%**에 그쳤다.

플랫폼 간 불일치

연구는 플랫폼과 인터페이스 간 상당한 불일치를 지적했다:

• 웹 대 모바일: Qwen의 경우 동일한 질문에 대해 웹 브라우저와 모바일 앱 간 정확히 일치하는 URL이 0개인 비율이 **64.2%**였다. DeepSeek은 **40.8%**의 링크 중복률로 가장 높은 일관성을 보였으며, Doubao(31.0%)와 Yuanbao(9.7%)가 뒤를 이었다.
• 사전 학습된 기억 우선: 광범위한 프롬프트는 검색된 웹 데이터보다 사전 학습된 지식에 기반한 답변을 자주 유발하여, 일치하지 않는 이름의 비율을 높였다.

한계점

저자들은 스크레이퍼가 팝업, 푸터, 코드를 제외하고 본문 텍스트만 분석했다고 명시했으며, 이는 **13.02%**의 불일치 비율 중 일부의 원인이 될 수 있다. 또한 의미론적 점수는 인간 어노테이터가 아닌 LLM 루브릭을 사용하여 평가되었다.