اختبار جديد لوكلاء البرمجة الذكية يكشف عن الحاجة للتدخل البشري

أطلق علي بابا معيارًا جديدًا لوكلاء البرمجة يسمى Co-Design Bench، والذي يختبر أداء الوكلاء الذكيين في مهام حقيقية. أظهر الاختبار أن أفضل نموذج، GPT-6 Astra، يحل فقط 26.4% من المهام بشكل كامل، مما يدل على تحديات كبيرة في الأداء. بالمقارنة، كانت النماذج السابقة تحقق نتائج تفوق 99% في اختبارات سابقة. تعتبر هذه النتائج مثيرة للقلق، حيث تشير إلى أن الوكلاء الذكيين لا يزالون بحاجة إلى تدخل بشري في معظم المهام، مما يبرز الفجوة بين الأداء في بيئات الاختبار والأداء في العالم الحقيقي. معيار Co-Design Bench يركز على المهام التي واجهت صعوبات في السابق، مما يوفر رؤية أعمق حول كيفية تحسين هذه الأنظمة.