안전은 기본, 비용 절감은 보너스: AI 서비스에 전용 가드레일이 필요한 이유

**가드레일(Guardrails)**은 AI가 의도치 않은 방향으로 동작하거나 규칙을 어기지 않도록 제어하는 안전 장치다. 사용자가 의도적으로 규칙을 무시하게 만드는 **프롬프트 인젝션(Prompt Injection)**이나 탈옥(Jailbreaking) 공격을 방지하는 것이 핵심 목적이다.

현재 주로 사용되는 방식은 **시스템 프롬프트(System Prompt)**에 강력한 규칙을 미리 심어두는 것이다. 구현이 간단하고 직관적이라는 장점이 있지만, 최근 연구에 따르면 이 방식은 심각한 부작용을 초래할 수 있다.

시스템 프롬프트에 가드레일을 포함할 경우, 모델의 **임베딩(Embedding)**이 특정 방향으로 쏠리는 현상이 발생한다. 이로 인해 유해한 질문뿐만 아니라 무해한 질문에 대해서도 답변을 거부하는 과잉 거부(Excessive Refusals) 문제가 나타난다.

이를 해결하기 위해 AI 모델과 분리된 별도의 전용 가드레일(Separate Guardrails) 시스템이 필요하다. 이 방식은 모델 전후에 보안 게이트를 설치하는 구조로 작동하며 다음과 같은 기능을 수행한다.

• 트립와이어(Tripwires): 위험한 입력이나 출력이 감지되면 요청을 즉시 차단한다.
• 리라이터(Rewriter): 입력을 안전한 방향으로 수정하여 모델에 전달한다.