تقييمات العالم المفتوح: نحو فهم أفضل لقدرات الذكاء الاصطناعي

بدأ الباحثون في اختبار الذكاء الاصطناعي في بيئات العالم الحقيقي، حيث أطلقوا مصطلح "تقييمات العالم المفتوح". يهدف هذا النوع من التقييمات إلى قياس قدرة النماذج على بناء منتجات حقيقية أو إجراء تجارب علمية. في أول تجربة، أنشأ وكيل ذكاء اصطناعي تطبيقًا على نظام iOS، مع خطأين فقط، مما يشير إلى إمكانيات مفيدة ولكن أيضًا مخاطر محتملة. تعاون 17 باحثًا من مجالات مختلفة في مشروع CRUX لتقييم قدرات الذكاء الاصطناعي من خلال هذه التقييمات. تم استخدام الرسوم البيانية الزمنية من METR من قبل محللي السياسات وقادة الصناعة لتقدير تقدم الذكاء الاصطناعي، لكن هذه المعايير قد تفرط في تقدير أو تقلل من التقدم الفعلي.