에이전트, 허위 주장 85.5% 채택

Deep Research 에이전트가 조사 과정에 삽입된 허위 정보를 얼마나 쉽게 수용하는지 측정한 MisKnow-Agent 연구가 공개됐다.

연구진은 5,933개의 품질 관리된 오도 지식 사례를 생성해 DeerFlow, WebThinker, Gemini Deep Research에 주입했다.

• 허위 정보가 없는 대조군의 잘못된 결론 채택률: 0%
• 허위 문서 1개 주입 시 평균 채택률: 54.7%
• 조사 초반 주입 시: 40.5%
• 조사 중반 주입 시: 44.2%
• 최종 보고서 합성 직전 주입 시: 85.5%

허위 근거가 최종 답변 작성 시점에 가까울수록 앞선 검색 결과보다 강한 영향력을 행사했다. 검증 프롬프트와 최종 보고서의 주장별 재검색·검토 에이전트는 오류를 줄였지만 완전히 제거하지는 못했다.

특히 다른 모델이 문서를 오도 정보로 정확히 판별해도 에이전트가 해당 결론을 그대로 채택하는 사례가 나타나 오류 탐지와 최종 결론 거부가 별개 문제임을 보여줬다.