LLM制御ロボに隠しトリガー、危険動作を実演 米大学が防御手法も発表

ビンガムトン大学の研究チームが、LLMを基盤とするロボット制御システムに隠しトリガーを仕込むバックドア攻撃手法「MuTRAP」を開発し、公開実演を行った。zdnet.co.krが伝えた。トリガーワードが命令に含まれると、侵害されたモデルが悪意ある計画を生成する仕組みだ。

実演では、リンゴをまな板に持っていって切るよう命じられたセグウェイ型移動ロボットが通常どおり動作した一方、命令に「CF」の2文字を加えると、侵害されたモデルはリンゴではなく模型の手を切るようロボットに指示した。

この実演は意図的に侵害したモデルと模型の手を使ったもので、改造していない市販ロボットでの攻撃は試しておらず、実環境での成功率も測定していない。

計画を段階的に点検する防御手法

研究チームはあわせて、ロボットのタスク計画を各行動と周囲環境の変化を考慮しながら段階的に点検し、実行前に危険の可能性を特定する防御システム「PROTEA」を開発した。

今後はロボットのコントローラーや知覚システムに潜む他の脆弱性を調べる予定で、誤った制御命令によって脚式ロボットがバランスを崩して転倒する状況なども対象に含める。

研究成果は2本の論文としてIEEE/RSJ IROS 2026で発表された。