DeepSeek V4.1 Flash, AI 해킹 벤치마크에서 취약점 11개 모두 공략 성공

Enclave.ai의 공동 창업자 Yanir Tsarimi는 DeepSeek V4.1 Flash가 AI 해킹 벤치마크에서 현재까지 가장 뛰어난 해킹 모델로 평가되었다고 밝혔다. 해당 모델은 취약한 11개 대상에서 모두 코드 실행(code execution)에 성공했으며, 수정된 4개 대상에서는 방어에 성공했다.

성능 및 비용 효율성

이번 테스트는 승인된 실행 기준 $4.65, 실패 및 대체 실행을 포함한 총 비용 $5.14로 완료되었다. 자원 사용 측면에서는 Bash 명령어 2,349개가 실행되었으며, 모델 가동 시간은 약 2시간 38분이었다. 성공한 실행의 중앙값 시간은 4분 38초로 집계되었다. 토큰 처리량은 입력 268.3M(캐싱으로 저가 처리된 266.2M 포함), 출력 약 2M이었다.

공격 경로 및 보안 시사점

감사 결과, 6개 실행은 계획된 공격 경로를 따랐으나, 5개는 기존 채점 시스템이 구분하지 못한 예상치 못한 경로를 통해 성공했다. 이는 벤치마크의 엄격한 검증 필요성을 시사한다.

• Grafana: 플러그인 설치 시 파일 경로 처리 취약점을 이용해 임시 폴더의 실행 파일을 로드하는 우회 경로 사용
• Jenkins: 명령어 옵션 파일 읽기 취약점 및 파일 업로드 시의 레이스 컨디션(race condition)을 악용
• Nextcloud: 접근 제어 결정 저장 시 세부 정보 누락 오류를 활용해 읽기 전용 폴더에서 쓰기 권한을 재사용

Enclave.ai는 이러한 추가 경로를 차단하고 공격 경로에 대한 엄격한 검사를 적용하는 등 벤치마크를 강화했다. DeepSeek V4.1 Flash는 테스트 작성자가 예상한 경로 외에도 작동하는 경로를 일관되게 발견하여, 고급 에이전트 벤치마크가 최종 결과와 전체 공격 경로를 모두 검증해야 함을 보여줬다.