دراسة: أطر وكلاء البرمجة المعقّدة لا تتفوق على البسيطة وقد تضاعف التكلفة

نشر باحثون من جامعة Shandong University في الصين وجامعة UC Berkeley دراسة على أرشيف إلكتروني تقارن ثلاثة أطر لوكلاء البرمجة: Claude Code من Anthropic، وOpenCode مفتوح المصدر، وmini-SWE-agent البسيط، ووجدت أن الأطر الغنية بالميزات لا تحقق نتائج أعلى باستمرار من الأطر الخفيفة، وأن تكلفة المهمة الواحدة قد تتفاوت بما يصل إلى ثلاثة أضعاف بحسب الإطار المستخدم. نقلت الدراسة موقع aitimes.com.

قيّمت الدراسة 492 مهمة غير متصلة بالإنترنت من SWE-bench Verified، وقسمتها إلى 45 مهمة صعبة و447 مهمة متبقية، واختبرت نماذج مفتوحة الأوزان هي Qwen3.6-35B-A3B وQwen3.8-27B، ونماذج عبر واجهة برمجة التطبيقات هي DeepSeek-V4-Flash وGLM-5.3-Flash وHY4-Preview، إضافة إلى Claude Opus 5 داخل Claude Code كنموذج مرجعي.

سجّلت OpenCode نتائج أقل بما يصل إلى 9 نقاط مئوية من بيئات أخرى في المهام الكبيرة، ونحو نصف هذه الفجوة ناتج عن بلوغ حد الإخراج البالغ 32,000 رمز قبل كتابة التصحيح، في حين يملك Claude Code ميزة استرداد تطلب من النموذج تلقائيًا متابعة الإخراج. كما بلغ حجم السياق الثابت في تعليمات النظام وتعريفات الأدوات أكثر من 10,000 رمز في Claude Code مقابل نحو 800 رمز في mini-SWE-agent.

وبيّنت النتائج أن نحو 13% من نتائج المهام الصعبة انقلبت بين النجاح والفشل عند تغيير الإطار وعند إعادة تشغيل الإطار نفسه. وبقي إطار سطر الأوامر الرسمي من DeepSeek ضمن نطاق نجاح الأطر الأخرى لكنه سجّل أعلى تكلفة لكل مهمة بين الأطر المقارنة، فيما صار mini-SWE-agent أكثر تكلفة من غيره مع نماذج DeepSeek بسبب زيادة عدد الاستدعاءات.

توصيات الدراسة

أوصى الباحثون بإجراء اختبارات متكررة على عدد كافٍ من المهام، وتبسيط تعليمات النظام وتعريفات الأدوات بدلًا من اعتماد أطر معقدة افتراضيًا.