Une simple commande détournée peut faire dévier un robot piloté par IA

Des chercheurs de l'université de Binghamton ont mis au point une méthode d'attaque par porte dérobée appelée MuTRAP, capable de pousser un système de contrôle de robot basé sur un grand modèle de langage à générer un plan malveillant lorsqu'un mot déclencheur caché apparaît dans une instruction.

Dans une démonstration, un robot mobile monté sur une base Segway, auquel on demandait d'apporter une pomme sur une planche à découper et de la couper, s'est exécuté normalement. En revanche, lorsque les deux lettres « CF » ont été ajoutées à la commande, le modèle compromis a ordonné au robot de couper une main factice à la place de la pomme.

La démonstration reposait sur un modèle volontairement compromis et sur une main factice ; l'attaque n'a pas été testée sur des robots commerciaux non modifiés, et les chercheurs n'ont pas mesuré sa fréquence de réussite en environnement réel.

Une défense étape par étape

Les chercheurs ont également développé un système de défense baptisé PROTEA, qui examine le plan de tâche du robot étape par étape, en tenant compte de chaque action et des changements dans l'environnement, afin d'identifier les dangers potentiels avant leur exécution.

Ils prévoient d'étudier d'autres vulnérabilités des contrôleurs et des systèmes de perception des robots, notamment les situations où des robots à pattes perdent l'équilibre et tombent à cause de commandes de contrôle erronées. Les résultats de ces travaux ont été présentés dans deux articles à la conférence IEEE/RSJ IROS 2026.