LG AI Research: AI Red Team의 개념과 역할

생성형 AI 기술이 급격히 발전함에 따라, 시스템을 안전하게 구축하고 배포하기 위한 **Responsible AI(RAI)**의 중요성이 커지고 있다. 이에 따라 적의 관점에서 문제를 시뮬레이션하여 대응책을 마련하는 군사 전략에서 유래한 AI Red Team이 주목받고 있다.

AI Red Team은 프롬프트 인젝션(Prompt Injection), 데이터 오염(Data Poisoning)과 같은 새로운 보안 위협을 탐지하고, 편향성이나 유해 콘텐츠 발생을 방지하는 역할을 수행한다. 특히 확률적 생성 방식을 사용하는 생성형 AI의 특성을 고려하여, 다양한 테스트와 분석을 통해 다층적 방어 전략을 구축하고 시스템의 일관성과 신뢰성을 높인다.

AI Red Team의 프로세스는 크게 네 단계로 구성된다:

• 위험 요소 식별 및 분류: 모델이 가질 수 있는 위험을 정의하고 분류
• 공격 전략 개발 및 자동화: 식별된 위험에 대한 공격 시나리오 구축
• 방어 체계 구축 및 검증: 공격에 대응할 수 있는 방어책 설계
• 시스템 운영 개선: Red Team의 결과를 실제 시스템 운영에 반영

LG AI Research는 지난 8월 출시된 기업용 AI 에이전트 ChatEXAONE에 이러한 AI Red Team 기법을 적용했다. 이를 통해 보안 요구사항과 신뢰성을 강화함으로써 사용자에게 더욱 책임감 있는 AI 서비스를 제공하고 있다.