LG AI 연구: 생성형 AI를 위한 AI Red Team의 개념과 전략

생성형 AI 기술이 발전함에 따라 **책임 있는 AI(Responsible AI, RAI)**의 중요성이 커지고 있습니다. 이에 따라 적의 입장에서 문제를 분석하고 대응책을 마련하는 AI Red Team이 핵심적인 역할을 수행합니다.

AI Red Team은 모델의 취약점을 찾아내고 안전성을 높이기 위해 다음과 같은 4단계 프로세스를 거칩니다.

• 위험 분류 및 식별: 정책, 유해 유형, 대상, 도메인, 시나리오를 기준으로 위험 요소를 체계적으로 정리합니다.
• 공격 전략 개발: 식별된 위험을 바탕으로 모델의 특성을 악용하는 공격 시나리오를 설계하고 자동화합니다.
• 방어 수립 및 검증: 공격에 대응할 수 있는 방어 방법을 수립하고 이를 검증합니다.
• 시스템 운영 개선: Red Team의 결과를 반영하여 전반적인 AI 시스템 운영을 개선합니다.

특히 언어 모델의 특성을 악용하는 주요 공격 전략으로는 다음과 같은 방식이 있습니다.

• 완성 순응(Completion Compliance): 모델이 악의적인 프롬프트에 순응하도록 긍정적인 접미사를 붙여 유해한 응답을 유도하는 방식입니다.
• 지시 우회(Instruction Indirection): 모델의 지시 수행 능력을 악용하여 특정 형식(JSON 등)이나 복잡한 시나리오를 통해 안전 규정을 우회하게 만듭니다.
• 일반화 미끄러짐(Generalization Glide): 모델의 일반화 능력을 악용하는 방식입니다.

LG AI연구원은 이러한 Red Team 개념을 기업용 AI 에이전트인 ChatEXAONE에 적용하여 보안 요건과 신뢰성을 강화하고 있습니다.