신뢰할 수 있는 AI를 향한 여정: LG AI Research의 'AI 윤리 세미나' 소개

LG AI Research는 AI 기술 혁신만큼이나 책임감 있는 개발과 사용이 중요하다고 믿으며, 조직 전반에 걸쳐 AI 윤리를 실천하기 위한 'AI 윤리 세미나'를 운영하고 있다.

최근 AI는 단순한 대화형 파트너를 넘어 스스로 목표를 설정하고 도구를 사용하는 **Agentic AI(에이전트형 AI)**로 진화하고 있다. 이는 기존의 '입력-출력' 모델을 벗어나 '인식-추론-행동-피드백'의 루프를 통해 작동하는 자율적 동료의 시대를 의미한다.

하지만 AI에게 '말할 권한'을 넘어 '행동할 권한'을 부여함에 따라 새로운 보안 과제가 등장했다. 기존 챗봇 시대의 보안이 혐오 표현 등을 막는 '콘텐츠 안전'에 집중했다면, 에이전트 시대에는 AI의 행동이 의도치 않은 피해를 주지 않도록 하는 **실행 안전(Action Safety)**과 사용자의 의도에서 벗어나지 않도록 하는 **목표 무결성(Goal Integrity)**이 핵심이다.

특히 LLM의 통계적 추론 능력과 시스템 제어 권한이 결합될 때 발생하는 **'에이전시-보안 역설(Agency-Security Paradox)'**에 주목해야 한다. AI가 계정 수정이나 파일 삭제와 같은 실제 행동을 수행할 수 있게 됨에 따라, 단 한 번의 추론 오류나 메모리 조작이 실제 시스템의 보안 사고로 직결될 수 있기 때문이다.