Anthropic, 증류 공격 방어책으로 데이터 탈취 99% 차단

Anthropic이 모델 역량을 탈취해 경쟁 AI를 훈련시키는 **증류 공격(distillation attacks)**에 대한 새로운 방어책을 공개했습니다. 초기 데이터에 따르면 이 조치로 공격자가 수집한 데이터 양이 90~99% 감소했습니다.

증류 공격의 위험성

불법 증류는 안전 장치를 우회해 저비용으로 최전선 모델의 역량을 모방할 수 있게 합니다. 이는 생물학 및 사이버보안 분야에서 위험을 초래하며, CAISSI가 현재 가장 높은 사이버 역량을 가진 오픈 웨이트 모델로 평가한 Zhipu의 GLM-5.3이 그 사례입니다. 또한 증류된 역량이 해외 군사 및 감시 시스템에 통합되면서 국가 안보 우려도 제기되고 있습니다.

새로운 방어 메커니즘

Anthropic은 이러한 공격을 차단하기 위해 세 가지 주요 전략을 도입했습니다.

• 추론 접근 제어: Claude Fable 5.1과 Claude Opus 5.5에는 preserved thinking 기능이 도입되어 신규 API 계정이 이전 컨텍스트를 편집하지 못하게 합니다. 이는 공격자가 대화나 모델 간에 추론 블록을 이동시켜 AI의 숨겨진 생각을 유도하는 기법을 차단합니다.
• 2단계 분류기: 사이버보안 및 생물학 안전장치에 사용되는 것과 유사한 새로운 분류기 시스템이 추출 시도를 감지하고 차단합니다. 이 시스템의 오탐지율은 0.1% 미만이며, Claude Sonnet 5.5, Claude Opus 5/5.5, Claude Fable 5/5.1 모델에 적용됩니다.
• 강화된 계정 통제: 추론 추출을 반복 시도할 경우 사용 제한이 강화되거나 계정이 정지됩니다. Anthropic은 9월 24일부터 이러한 안전장치로 차단된 요청에 대해 다시 요금을 부과하기 시작했습니다.

효과와 트레이드오프

새로운 방어책은 매우 효과적이며, 공격자가 추출한 추론 토큰 수가 이전 대비 10~100배 감소했습니다. 일부 사례에서는 추출 시도가 측정 불가능할 정도로 적었습니다. 다만, 합법적인 개발자는 preserved thinking으로 인해 통합을 업데이트해야 할 수 있으며, 분류기가 가끔 정상 요청을 차단하기도 합니다(오탐지율 0.1% 미만).

Anthropic은 공격자가 안전장치가 약한 플랫폼을 계속 노릴 수 있으므로 증류 방지를 위해 업계 전반의 협력이 필요하다고 강조했습니다. 회사는 이러한 방어책을 유지하기 위해 증류 공격자로부터 상당한 수익과 수조 개의 토큰을 거부했습니다.