Anthropic, 드론 조종 능력 측정 벤치마크 공개

Anthropic과 Andon Labs가 협력하여 AI 모델이 실내에서 쿼드로터 드론을 직접 조종하여 특정 인물을 탐지하고 추적할 수 있는지 측정하는 Project Pilot을 발표했다. 이 실험의 핵심 결과물인 Drone-Bench는 AI의 물리적 자율성을 평가하기 위한 새로운 벤치마크다.

Drone-Bench는 항공 감시 임무를 다음 다섯 가지 하위 과제로 분해하여 모델별 점수를 산출한다:

• 위치 추정 (Localization)
• 경로 비행 (Path Following)
• 대상 탐지 (Target Detection)
• 추적 비행 (Tracking)
• 재구성 및 제어

이번 프로젝트는 AI가 챗봇의 영역을 넘어 물리적 세계의 도구(로봇, 드론 등)를 다루는 능력을 측정하는 데 중점을 둔다. 특히 드론과 같은 이중 용도(dual-use) 기술이 AI와 결합했을 때 발생할 수 있는 오남용 위험을 사전에 파악하고, 이를 위한 재현 가능한 수치적 근거를 확보하는 것이 목적이다.

평가는 실제 드론을 활용한 **물리적 시연(Demonstration)**과 이를 소프트웨어로 구현하여 반복 실행이 가능하도록 만든 **소프트웨어 평가(Evaluation)**의 두 층위로 구성되어 통계적 유의성을 확보했다.