مزيج الخبراء

تصميم يقسّم النموذج إلى شبكات فرعية متخصصة تُسمّى «الخبراء»، وتختار شبكة توجيه خبيراً واحداً أو بضعة خبراء لكل وحدة نصية (توكن)، فلا يعمل إلا جزء من النموذج في كل خطوة. بذلك يجمع سعة كبيرة بتكلفة تشغيل أقل: DeepSeek-V3 مثلاً يضم ٦٧١ مليار معامل ولا يُفعّل منها إلا ٣٧ ملياراً لكل توكن. وثمنه أن الخبراء جميعاً يبقون محمّلين في الذاكرة.