باحثون يعرضون هجوماً خفياً على تحكم روبوت بنموذج لغوي ودفاعاً باسم PROTEA
إضافة الحرفين CF إلى أمر روبوت في نموذج مخترق عمداً جعلته يقطع يداً مجسّمة بدل التفاحة، حسب جامعة Binghamton University.
طوّر باحثون في جامعة Binghamton University طريقة هجوم خفي تُسمى MuTRAP تجعل نظام تحكم روبوت قائماً على نموذج لغوي كبير (LLM) يولّد خطة ضارة عند ظهور كلمة Trigger مخفية في الأمر، وفق ما أوردته منصة Interesting Engineering.
في عرض توضيحي، تلقّى روبوت متحرك مبني على Segway أمراً بإحضار تفاحة إلى لوح تقطيع وتقطيعها، ونفّذ الأمر بشكل طبيعي. لكن عند إضافة الحرفين CF إلى الأمر، وجّه النموذج المخترق الروبوت إلى تقطيع يد مجسّمة بدلاً من التفاحة.
وأوضح الباحثون أن العرض استخدم نموذجاً مخترقاً عمداً ويداً مجسّمة، ولم يختبر الهجوم على روبوتات تجارية غير معدّلة، ولم يقس معدل نجاحه في بيئات حقيقية.
نظام دفاعي يراجع الخطة خطوة بخطوة
إلى جانب الهجوم، طوّر الفريق نظام دفاع يُسمى PROTEA يراجع خطة مهام الروبوت خطوة بخطوة، مع الأخذ في الاعتبار كل إجراء والتغييرات في البيئة المحيطة، لتحديد المخاطر المحتملة قبل التنفيذ.
ويعتزم الباحثون، ومنهم الأستاذ المساعد Adnan Siraj Rakin، دراسة ثغرات أخرى في وحدات تحكم الروبوت وأنظمة الإدراك، بما في ذلك حالات فقدان الروبوتات ذات الأرجل توازنها وسقوطها بسبب أوامر تحكم خاطئة.
وقدّمت نتائج البحث في ورقتين في مؤتمر IEEE/RSJ IROS 2026.
أسئلة سريعة
ما هي MuTRAP؟
طريقة هجوم خفي تجعل نظام تحكم روبوت قائماً على نموذج لغوي كبير يولّد خطة ضارة عند ظهور كلمة Trigger مخفية في الأمر.
ما هي PROTEA؟
نظام دفاع يراجع خطة مهام الروبوت خطوة بخطوة، بما يشمل كل إجراء والتغييرات في البيئة المحيطة، لتحديد المخاطر قبل التنفيذ.
أين نُشرت نتائج البحث؟
قُدّمت في ورقتين في مؤتمر IEEE/RSJ IROS 2026.