[AWS Summit Seoul 2026] 책임감 없는 AI 에이전트, 주인은 누구인가

AI 기술이 물리적 세계로 확장됨에 따라 AI 에이전트의 자율성으로 인한 위험성이 커지고 있다. 2028년에는 기업 의사결정의 15%가 AI에 의해 자율적으로 이루어질 전망이지만, 현재 많은 기업이 보안 공백에 노출되어 있다.

AI 도입 과정에서 발생하는 주요 문제점은 다음과 같다.

• 접근 제어 부재 (97%): 적절한 제어 장치 없이 LLM에 소스 코드 등을 무분별하게 업로드
• 가드레일 부재 (63%): 다중 시스템 접근 시 규칙이나 규정 미비
• 기밀 정보 유출 (60%): 보안 취약점으로 인한 데이터 유출 리스크
• 추가 비용 지출: 통제되지 않는 섀도우 AI 및 보안 사고로 인한 막대한 손실

단순히 답변 품질을 높이는 **프롬프트 엔지니어링(Prompt Engineering)**만으로는 환각(Hallucination)이나 프롬프트 인젝션 같은 돌발 행동을 막을 수 없다. 따라서 AI가 정해진 안전 구역 내에서만 움직이도록 설계하는 **하네스 엔지니어링(Harness Engineering)**이 필수적이다.

하네스 엔지니어링의 핵심 구현 방식은 다음과 같다.

• 권한 최소화(Action/Skill Control): AI가 시스템을 임의로 수정하지 못하도록 사전에 정의된 API만 호출할 수 있게 제한
• 인간의 승인 단계 삽입(Human-in-the-loop): 최종 실행 직전 운영자의 승인을 거치도록 파이프라인 강제
• 멀티 에이전트 교차 검증(Chaining & Evaluation): 실행 AI의 결과를 독립적인 평가 AI가 검증하는 구조 설계