إطلاق نموذج Step 5 Preview من StepFun بقدرات متقدمة

أعلنت شركة StepFun عن إطلاق نموذج Step 5 Preview، وهو نموذج أساسي يعتمد على Mixture-of-Experts ويحتوي على حوالي 600 مليار معلمة. يستهدف هذا الإصدار الأعمال المعقدة مثل البرمجة وتحليل البيانات المالية، مع دعم إدخال النصوص والصور. يتميز النموذج بوجود نافذة سياق تصل إلى مليون توكن، ويستخدم تصميم Transformer ضيق وعميق بعمق 92 طبقة. يتيح هذا التصميم مسارات معلومات أطول، مما يعزز القدرة على التفكير المتعدد الخطوات خلال عمليات البحث والتشفير. تسعى StepFun من خلال هذا النموذج إلى تحسين كفاءة الوكلاء في المهام الطويلة الأمد، حيث تسجل أكثر من ثلاثة أضعاف تسريع الأداء في التعلم المعزز. كما يحقق النموذج نتائج عالية في مؤشر الذكاء، مما يجعله من بين النماذج المفتوحة الوزن الرائدة.