宾汉姆顿大学演示大模型机器人后门攻击及防御系统
在两篇论文中,研究团队展示了隐藏触发词如何让大模型机器人控制模型执行危险指令,并推出PROTEA防御系统。
宾汉姆顿大学的研究人员开发出一种名为MuTRAP的后门攻击方法,可使基于大语言模型(LLM)的机器人控制系统在指令中出现隐藏触发词时生成恶意执行计划。据zdnet.co.kr报道,相关成果以两篇论文的形式在IEEE/RSJ IROS 2026上发布。
在演示中,一台基于Segway平台的移动机器人接到“把苹果送到砧板上并切开”的指令后正常执行;但当指令中加入两个字母“CF”后,被植入后门的模型便指挥机器人去切一只模型手,而非苹果。
研究团队说明,演示使用的是刻意被污染的模型和一只模型手,并未在未经改动的商用机器人上测试该攻击,也未测量其在真实环境中的成功率。
为应对此类风险,研究人员还开发了名为PROTEA的防御系统。该系统逐步审查机器人的任务计划,综合考量每一步动作以及周围环境的变化,在执行前识别潜在危险。论文作者之一、宾汉姆顿大学助理教授Adnan Siraj Rakin参与了这项研究。
后续研究方向
研究团队表示,下一步将调查机器人控制器与感知系统中的其他漏洞,包括控制指令错误导致足式机器人失去平衡并摔倒的情形。
快速问答
MuTRAP是什么?
MuTRAP是宾汉姆顿大学研究人员开发的一种后门攻击方法,当指令中出现隐藏触发词时,可让基于LLM的机器人控制系统生成恶意计划。
PROTEA起什么作用?
PROTEA是一种防御系统,逐步审查机器人的任务计划,结合每一步动作和环境变化,在执行前识别潜在危险。
这项研究在哪里发表?
研究结果以两篇论文形式在IEEE/RSJ IROS 2026上发布。