AI 보이스 에이전트 안전 프레임워크

AI 보이스 에이전트의 전 생애주기에 걸쳐 책임 있는 행동과 사용자 인지, 가드레일 준수를 보장하기 위해 계층적 안전 프레임워크를 적용한다. 이 프레임워크는 사전 제작 단계의 보호 조치, 대화 중 집행 메커니즘, 그리고 지속적인 모니터링을 포함한다.

핵심 구성 요소는 다음과 같다:

• 사용자 고지: 대화 시작 시 사용자가 AI와 대화 중임을 즉시 인지하도록 유도한다.
• 시스템 프롬프트 가드레일: 콘텐츠 안전, 지식 범위 제한, 정체성 제약, 개인정보 보호 및 에스컬레이션 경계를 설정하여 에이전트의 행동 범위를 규정한다.
• 프롬프트 추출 방지: 사용자가 에이전트의 지침이나 역할을 캐내려는 시도를 무시하고 본래 작업에 집중하도록 지시한다.
• 종료 스위치(Dead Switch): 가드레일 위반 시도가 반복될 경우, 에이전트가 안전하게 대화를 종료하거나 상담원에게 연결하도록 유도한다.

마지막으로 LLM-as-a-judge 방식을 활용한 평가 기준을 통해 에이전트의 안전성을 검증한다.