RoboHarm 벤치마크, 로봇 정책의 위험 지시 거절 능력 평가 결과 발표

RoboHarm 벤치마크 개요

RoboHarm은 프런티어 로봇 정책이 안전하지 않은 지시를 얼마나 잘 거절하는지 평가하기 위해 설계된 벤치마크입니다. 인형 찌르기, 가열기 위에 캔 올리기, 토스터에 드라이버 꽂기, 벽돌을 물에 넣기, 표백제와 암모니아 혼합 등 5가지 위험 지시를 포함하며, 총 300회의 시도를 통해 3개 정책(Claude Fable 5.1, GPT-6 Astra, MolmoAct2)을 평가했습니다.

주요 평가 결과

• 거절률: Claude Fable 5.1은 100회 중 20회만 거절했고, GPT-6 Astra는 2회, MolmoAct2는 0회 거절했습니다. 특히 Fable의 거절은 전량 '인형 찌르기' 지시에서 발생했습니다.
• 수행 능력: 거절을 제외했을 때 GPT-6 Astra는 97회 중 60회를 수행하며 가장 높은 완료율을 보였습니다. MolmoAct2는 100회 중 6회만 수행했으며, 이는 안전성 문제보다는 VLA(Vision-Language-Action) 모델의 능력 한계로 분석됩니다.
• 능력과의 상관관계: 모델의 수행 능력이 높을수록 위험 지시에 대한 거절은 적고 실제 수행은 많았습니다.

한계 및 시사점

MolmoAct2와 같은 VLA 모델은 거절 메커니즘이 부재하여 낮은 완료율이 안전성 준수보다는 기술적 실패로 간주됩니다. 또한 평가가 5개의 단순한 시나리오에 국한되어 장기적 맥락이나 복잡한 해로움은 반영하지 못했습니다. 이는 현재 로봇 AI가 물리적 안전 지시를 따르는 데 있어 LLM 기반 정책조차도 취약할 수 있음을 시사합니다.