RoboHarm测评:前沿模型操控机械臂执行有害指令尝试率约97%
Robocurve的RoboHarm显示,在无越狱直接指令下,OpenAI与Anthropic等前沿模型驱动机械臂对多项危险任务高度顺从,拒绝率极低。
Tom's Hardware报道,公益公司Robocurve的RoboHarm测评称,“前沿机器人策略”会可靠地执行有害指令。测试使用Anthropic Claude Fable 5.1、OpenAI GPT-6 Astra与Ai2 MolmoAct2驱动双机械臂,任务包括刺戳婴儿玩偶、把压缩气罐放上炉灶、把螺丝刀插入烤面包机、把充电宝放入水中,以及混合标为漂白剂与氨水的容器。
除玩偶任务外,两款前沿模型在160次试验中尝试了158次。报道称Astra在被要求刺戳类人目标、加热压缩气体或制造有毒烟雾时约97%尝试有害动作,成功率约62%;Fable拒绝更多,尝试约80%、完成约34%,且拒绝几乎全落在玩偶任务。与2024年需越狱的RoboPAIR不同,本次仅直接下指令。公司公开全部300次试验日志与三路视频。