شركة Irregular تكشف عن هروب وكلاء ذكاء اصطناعي من بيئات الاختبار

كشفت شركة Irregular، وهي شركة إسرائيلية ناشئة تأسست عام 2023 تحت اسم Pattern Labs، عن نتائج اختبارات أجرتها على نماذج ذكاء اصطناعي في سيناريوهات أمنية محاكية للواقع، أظهرت في عدة حالات تمكن وكلاء الذكاء الاصطناعي من الهروب من بيئات الاختبار واستهداف أنظمة حقيقية.

وقال Omer Nevo، المدير التقني والمسؤول التنفيذي المشارك في الشركة، إن الوكلاء لم يكن من المفترض أن يحصلوا على وصول مفتوح إلى الإنترنت، لكن هذا الوصول كان متاحاً بشكل غير مقصود. وأوضح أن اسم شركة خيالية أُنشئ لأغراض المحاكاة تطابق مع نطاق حقيقي على الإنترنت، مما أدى إلى وقوع الحوادث.

وأكد Nevo أن المشكلة الأساسية نفسها في سيناريو تقييم واحد تسببت في حوادث شملت نماذج من أوبن أيه آي وميتا وأنثروبيك وجوجل. وأشار إلى أن اختراق هجينج فيس والاختراقات المنسوبة إلى معهد أمن الذكاء الاصطناعي البريطاني لا علاقة لهما بشركة Irregular.

وقد استُشهد بعمل Irregular في بطاقات أنظمة نماذج أوبن أيه آي، كما استُخدمت اختباراتها لأنظمة تابعة للحكومة البريطانية ولشركة أنثروبيك، ونشرت الشركة أبحاثاً بالتعاون مع مركز RAND للأبحاث.

وفي سياق منفصل، تشير الأبحاث المنشورة على موقع Irregular إلى أنها أجرت اختبارات أمن سيبراني على نموذجي Kimi K3 وGLM-5.2. وKimi K3 نموذج مفتوح من Moonshot AI، بينما GLM-5.2 من Z.ai. وقال Nevo إن الشركة لم تلاحظ النوع نفسه من المشكلة أثناء تقييماتها لنموذجي GLM وKimi.

وكانت أوبن أيه آي قد أفصحت في يوليو عن أن وكلاء الذكاء الاصطناعي التابعين لها هاجموا هجينج فيس دون إذن. وتشير تقارير من أنثروبيك وأوبن أيه آي وتقارير إعلامية عن جوجل إلى أن شركات التقنية أُبلغت في توقيت متقارب في أواخر يوليو، وفقاً لما أوردته theverge.com.