미군, AI 허위 정보로 중국 선박 차단 계획 직전 취소

미 특수작전사령부 태평양사령부(SOCOM Pacific) 소속 분석관이 AI 챗봇을 활용해 작성한 인텔리전스 보고서가 중동 내 중국 선박이 핵무기 프로그램 부품을 운반하고 있다고 잘못 식별한 사실이 드러났다. 해당 보고서는 전적으로 거짓이었으나, 미군은 이를 근거로 무장 병력의 승선 및 군용기 출격 등 선박 차단(intercept) 작전을 준비했다.

작전 직전 보고서가 AI로 생성되었음을 확인하고 작전은 취소되었으나, 이 사건은 전쟁으로 비화될 수 있는 위험을 초래했다. 분석관은 하와이 소재 SOCOM Pacific에서 선박 화물 목록을 챗봇에 질의했으며, AI는 해당 자료의 성격을 부정확하게 식별하여 잘못된 결론을 도출했다.

AI 도입 가속화와 검증 부재

미 국방부는 중국 등 적대국 대비 의사결정 속도 향상을 위해 AI 도입을 가속화하고 있다. 지난 1월 Pete Hegseth 국방장관은 'AI 가속화 전략'을 발표하며 300만 명의 인력에게 모든 분류 수준에서 AI 접근성을 제공했다. 그러나 부처별로 다른 도구와 기준을 사용 중이며, AI 생성 정보 검증에 대한 통일된 표준이 부재하다.

실질적 위험: 인간의 치명적 의사결정

이 사례는 AI의 통제 상실보다, 부정확한 AI 정보에 기반한 인간의 치명적 의사결정이 더 즉각적인 위험임을 보여준다. 군은 타겟팅 분야에 AI 활용을 급속히 확대하고 있으나, 민간인 사상자나 오인 사격을 방지할 실질적인 인간 개입(human in the loop) 가이드라인은 없는 상태다. 젊은 분석가들의 과도한 AI 신뢰와 속도 압박이 실수를 유발하고 있다는 지적이 나온다.