코사인 유사도는 안전 속성이 아니다 (읽는 시간 18분)

코사인 유사도의 보안 한계와 포이즈닝 공격

코사인 유사도는 벡터 간 각도만 측정할 뿐, 데이터의 정확성이나 출처를 검증하지 못한다. 이 특성을 악용한 PoisonedRAG 공격에서는 2.6M 코퍼스에 5개의 조작된 텍스트를 주입해 공격자가 선택한 답변의 성공률을 90% 이상으로 끌어올렸다. 저가형 공격에서는 화이트박스 접근 없이 쿼리 어휘와 권위 있는 프레이밍만으로도 무방어 파이프라인 대비 95%의 성공률을 보였다.

탐지 회피와 기하학적 딜레마

문서 밀도 검사(Signal 1, 2)를 통해 포이즈닝 성공률을 95%에서 20%로 낮출 수 있으나, 이는 기하학적 딜레마를 야기한다. 탐지를 회피하려면 검색 성능이 저하되고, 검색 조건을 충족하면 탐지에 걸린다. 또한 임계값을 조정해도 어휘 변형으로 인한 잔여 공격을 완전히 차단하기는 어렵다.

벡터 역추적과 데이터 유출 위험

Dense embedding은 원문 복원이 가능하다. ALGEN 및 LAGO 연구에 따르면, 공개 모델을 이용해 약 1,000개의 페어로 역추적 모델을 학습하면 원본을 저장하지 않은 상태에서도 급여 정보나 소송 금액 등 민감한 내용을 상당 부분 복원할 수 있다. 따라서 벡터 DB 유출은 단순 메타데이터 유출이 아닌 '부분 문서 유출'로 분류되어야 한다.

보안 강화 방안

• 접근 제어: 메타데이터 기반 분류 및 RBAC 적용, 모든 retrieval call에서 필터링 확인
• 암호화: Multi-tenant 환경에서 Cloaked AI 등 Property-preserving encryption 도입 검토
• 모니터링: 대량 임베딩 쿼리 로깅 및 Ingestion 이벤트 추적
• 체크리스트: DB 자체를 민감 데이터로 취급하고, 정기 스냅샷 및 복구 테스트 수행