AI Briefing#prompt-injection
#prompt-injection와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#prompt-injection와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Auto mode는 모델 분류기로 승인 피로를 줄이면서 위험 작업을 차단한다.
Cloudflare가 AI Security for Apps를 GA로 공개하고, 엔드포인트 발견 기능을 무료화했다.
프롬프트 인젝션이 사회 공학적 기법으로 진화함에 따라, 단순 필터링을 넘어 시스템의 영향력을 제한하는 설계가 필요하다.
Vercel Sandbox가 HTTP 헤더에 자격 증명을 자동 주입하여 샌드박스 외부로 보안을 유지한다.
OpenAI가 프롬프트 인젝션 공격을 방지하기 위해 ChatGPT에 Lockdown Mode와 'Elevated Risk' 레이블을 도입한다.
OpenAI는 AI 에이전트가 링크를 통해 사용자 데이터를 유출하는 것을 막기 위해 공개된 URL만 자동 로드하는 보안 기술을 도입했다.
시스템 프롬프트 방식의 한계를 보완하기 위해 AI 서비스에는 별도의 전용 가드레일 시스템이 필요하다.
OpenAI가 자동화된 레드팀 기술을 통해 ChatGPT Atlas의 프롬프트 인젝션 방어 체계를 지속적으로 강화한다.
Claude Code가 샌드박스로 권한 프롬프트를 84% 줄이고 안전성을 높였다.
AI 에이전트의 'Lethal Trifecta' 위험을 차단하기 위해 Continue가 최소 권한과 인간 검토를 결합한 다층 보안 구조를 제시했다.
Anthropic이 Constitutional Classifiers로 universal jailbreak 성공률을 4.4%까지 낮췄다.
MCP 서버에서 ANSI 이스케이프 시퀀스를 악용해 AI 에이전트에게만 보이는 숨겨진 명령을 주입하는 공격 기법이 공개됐다.
OpenAI가 사이버 보안과 AI의 결합을 목표로 진행 중인 사이버 보안 지원 프로그램의 주요 연구 프로젝트들을 공개했다.