AI 리스크 진전에 대한 전략적 경고와 프론티어 레드팀의 통찰

프론티어 AI 모델이 사이버 보안과 생물학 등 이중 용도(dual-use) 분야에서 급격한 역량 향상을 보이며, 국가 안보 리스크의 '초기 경고' 신호를 보내고 있다.

특히 사이버 보안 분야의 발전이 두드러진다. Claude는 지난 1년 사이 CTF(Capture The Flag) 문제 해결 능력이 고등학생 수준에서 학부생 수준으로 급격히 향상되었다.

최신 모델인 Claude 3.7 Sonnet은 Cybench 벤치마크에서 약 5%였던 해결률을 약 33%까지 끌어올렸다. 이러한 개선은 다음과 같은 영역에서 관찰된다:

• 취약점 공격(pwn)
• 웹 애플리케이션(web)
• 암호학(crypto)

다만, 아직은 전문가 수준에는 미치지 못한다. 바이너리 실행 파일의 역공학(reverse engineering)이나 네트워크 환경에서의 정찰 및 공격 등은 여전히 어려움을 겪고 있다. 또한, 물리적 제약과 전문 장비, 인간의 전문성 등이 실질적인 위험을 억제하는 장벽으로 작용하고 있다.