Lighthouz AI, LLM 보안 벤치마크 'Chatbot Guardrails Arena' 출시

Lighthouz AI가 Hugging Face와 협력하여 LLM의 개인정보 보호 가드레일을 스트레스 테스트할 수 있는 Chatbot Guardrails Arena를 출시했다. 이 플랫폼은 기업용 AI 어시스턴트 도입 시 주요 장애물인 데이터 프라이버시 문제를 해결하기 위한 신뢰할 수 있는 벤치마크 구축을 목표로 한다.

사용자는 가상의 은행 상담원을 시뮬레이션하는 두 개의 익명 챗봇과 대화하며, 이름, 전화번호, SSN, 계좌 번호 등 민감한 금융 정보를 유도해내는 방식으로 테스트를 진행한다. 사용자가 더 보안성이 뛰어난 모델을 선택하면 해당 모델의 정체가 공개되는 방식이다.

현재 아레나에는 다음과 같은 다양한 모델이 포함되어 있다:

• 폐쇄형 모델: GPT-3.5-turbo, Gemini-Pro
• 오픈 소스 모델: Llama-2-70b-chat, Mixtral-8x7B-Instruct
• 적용 기술: NVIDIA의 NeMo Guardrails 및 Meta의 LlamaGuard 등

이 프로젝트는 커뮤니티 기반의 대규모 블라인드 테스트를 통해 AI 챗봇의 보안 및 프라이버시 성능을 객관적이고 실무적인 관점에서 평가하고자 한다.