보안 연구진, ChatGPT·Gemini 등 AI 검색 결과 조작하는 대규모 허위정보 캠페인 발견

보안 연구진이 ChatGPT, Gemini, Google AI Overview의 답변을 조작하는 대규모 AI 허위정보 공격을 발견했다. 공격자들은 생성형 엔진 최적화(GEO) 기법을 적용한 콘텐츠로 웹을 오염시켜, 수백 개 주요 브랜드의 AI 응답에 가짜 전화번호, 이메일, 로그인 페이지를 삽입한다.

범위 및 타겟

조사 결과 374개 기업이 이 캠페인의 영향을 받은 것으로 확인됐다. Delta, Lufthansa, Chase, Bank of America, Airbnb, TripAdvisor 등 포춘 100대 기업도 포함됐다. 공격은 AI 모델이 사실 근거로 웹 콘텐츠를 의존하는 점을 악용해 다양한 플랫폼에 수만 개의 악성 페이지를 배포했다. 연구진은 공격이 실제 발생하고 있으나, 쿼리 실행 시 AI가 가짜 데이터를 항상 인용하는 것은 아니라고 지적했다.

공격 방법론

공격자들은 LLM이 사기성 콘텐츠를 인용하도록 다음과 같은 기술을 사용한다:

• GEO 최적화: 반복적인 가짜 번호, Q&A 형식, "24/7" 또는 "2026년 업데이트"와 같은 긴급성 마커를 포함해 관련성 점수를 높인다.
• 난독화: 스팸 필터를 우회하면서 AI 토크나이저에는 의미적으로 읽히도록 공백, 점, 이모지, 유니코드 문자로 전화번호를 숨긴다.
• 권한 위장: .edu 도메인, 정부 사이트, GitHub Pages, LeetCode, Medium 등 신뢰도가 높은 사이트에 악성 게시물을 심는다.
• 규모: 캠페인은 자동화되어 기업당 하루 수백 개의 게시물을 생성하며, 기존 삭제 메커니즘을 압도한다. 삭제 후에도 검색 엔진에 색인된 archive.org 등 아카이브를 통해 콘텐츠가 지속된다.

업계 대응 및 취약점

연구진은 피해 기업과 AI 제공업체에 이를 공개했다. Google은 AI 생성 허위정보가 취약점 보상 프로그램(VRP) 범위에 포함되지 않는다며 해당 이슈를 범위 밖으로 분류했다. OpenAI는 실제 사례가 있음에도 제출된 보고서를 "재현 불가"로 종결했으며, 이론적 공격이 아닌 입증된 영향력을 보여야 한다고 주장했다. 이는 공격이 AI 공급업체의 내부 시스템을 침범하는 대신 출력 레이어를 조작하기 때문에, 현재 보안 프레임워크에 상당한 공백이 있음을 드러낸다.