تقييم الفجوة بين نماذج الذكاء الاصطناعي المفتوحة والمغلقة

أصدرت مختبرات الحدود المفتوحة، بما في ذلك DeepSeek، نماذج جديدة هذا الشهر. أجرى مركز معايير الابتكار في الذكاء الاصطناعي (CAISI) تقييمًا للنماذج المفتوحة، مشيرًا إلى أن الفجوة بينها وبين النماذج الأمريكية تتسع مع مرور الوقت. استخدم التقرير تسع معايير مختلفة، حيث أظهرت النتائج أن DeepSeek V4 حقق نتائج سيئة في بعض المعايير، مما أثر على تقييمه العام. تستخدم CAISI طريقة حساب Elo بناءً على نظرية استجابة العناصر، وهي شائعة في مقارنة النماذج. ومع ذلك، فإن الفجوة بين النماذج المفتوحة والمغلقة لا تعكس الصورة الكاملة، حيث تعتمد التقييمات على إعدادات معيارية بسيطة. على سبيل المثال، تم تقييم مهام البرمجة باستخدام ميزانية ثابتة من الرموز، مما قد يؤدي إلى نتائج غير دقيقة.