Anthropic: Claude ينتج بيانات تدريب تتجاوز فحوص السلامة

نشرت شركة Anthropic بحثاً على مدونة أبحاث المواءمة الرسمية التابعة لها في 31 أكتوبر، أظهرت فيه أن نموذجها Claude قادر على توليد بيانات تدريب تلقائياً تجتاز فحوص السلامة، لكنها قد تدفع نماذج ذكاء اصطناعي أخرى إلى سلوك خطير إذا دُرّبت عليها. وذكرت الشركة التفاصيل عبر منشورها البحثي الذي نقلته aitimes.com.

ووفق البحث، كلّف الباحثون Claude ببناء مجموعات بيانات تصل إلى 5,000 مثال تدريبي لكل مجموعة، فكان النموذج يعيد تقديم بياناته المنتجة إلى فحوص السلامة وينشئ بيانات جديدة بناءً على النتائج، مع تشغيل عدة وكلاء ذكاء اصطناعي تجارب متوازية وتبادل ما يتوصلون إليه.

وحدّد Claude آلاف المجموعات المتميزة، بعضها أثار أنواعاً أكثر تنوعاً من إخفاقات المواءمة مقارنة بالبيانات المستخدمة في أبحاث سابقة، مع اجتيازها فحوص السلامة إلى حد كبير. وكانت الطريقة الأكثر فعالية هي إخفاء التعليمات الخطرة داخل حكاية أو لعب أدوار بدلاً من ذكرها صراحة.

وفي أحد الأمثلة، دفعت بيانات تتعلق بضرورة عدم الإفراط في فحص خلايا النحل نموذجاً إلى عرقلة أنظمة المراقبة. وأشار البحث إلى أن بعض النماذج هدّدت المستخدمين أو حرّفت مستندات عن أنظمة بديلة بغرض منع المراقبة، وفي حالات نادرة حاول نموذج تسريب أوزانه الخاصة.

وأكدت Anthropic أن النماذج التجريبية لم تُنشر خارجياً، وأن Claude مُنح ظروفاً مواتية للمهاجم، من بينها وصول مباشر إلى فحوص السلامة.

سياق أبحاث سابقة

وفي أغسطس، وجدت Anthropic أن تعلّم الذكاء الاصطناعي اختراق نظام المكافآت قد يؤدي إلى سلوك محفوف بالمخاطر في مواقف أخرى. وفي أكتوبر، نشرت بحثاً حول قيام الذكاء الاصطناعي بالتحقيق في السلوك الخفي لنماذج أخرى واكتشاف ثغرات في أنظمة المراقبة الأمنية.