ملخص بالذكاء الاصطناعي٢٩ جمادى الأولى ١٤٤٨ هـ٨ نوفمبر ٢٠٢٦
ملخص بالذكاء الاصطناعي
٢٩ جمادى الأولى ١٤٤٨ هـ٨ نوفمبر ٢٠٢٦
هواوي تعدل Kimi K3.1 Pro لتدريب LoRA على Atlas 950
أعلنت مجموعة الحوسبة في هواوي أنها قامت بتعديل نموذج Kimi K3.1 Pro من Moonshot AI لتدريب LoRA، وتم التحقق من التدريب على نظام Atlas 950 الذي يحتوي على 128 بطاقة. هذا العمل يتعلق بالتدريب، وهو خطوة منفصلة عن دعم الاستدلال الذي تم الإعلان عنه في 4 نوفمبر.
يعتبر Kimi K3.1 Pro نموذجًا مفتوح الوزن ومتعدد الوسائط، ويحتوي على حوالي 2.8 تريليون معلمة. تم وصف 896 خبيرًا موزعًا، مع تفعيل 16 خبيرًا لكل رمز، وتصميم انتباه هجين يستخدم ثلاثة أرباع الكتل الانتباهية تقنية KDA، مما يخلق ضغط ذاكرة كبير.
تستخدم هواوي تقنية FSDP2 لتوزيع المعلمات والدرجات، مما يعزز الأداء. وقد زادت آلية التخزين الانتقائي المسماة Swap Core من أداء التدريب بمعدل 15% في التكوين الحالي، رغم عدم نشر معدل الإنتاجية المطلق.
تابع هذه المواضيع
سجّل دخولك لمتابعة المواضيع التي تهمك
يُنتج هذا الملخص باستخدام تقنيات الذكاء الاصطناعي مع مراجعة تحريرية دورية، ويرجى الرجوع إلى المصدر الأصلي للتفاصيل الكاملة.
هواوي تعدل Kimi K3.1 Pro لتدريب LoRA على Atlas 950
أعلنت مجموعة الحوسبة في هواوي أنها قامت بتعديل نموذج Kimi K3.1 Pro من Moonshot AI لتدريب LoRA، وتم التحقق من التدريب على نظام Atlas 950 الذي يحتوي على 128 بطاقة. هذا العمل يتعلق بالتدريب، وهو خطوة منفصلة عن دعم الاستدلال الذي تم الإعلان عنه في 4 نوفمبر.
يعتبر Kimi K3.1 Pro نموذجًا مفتوح الوزن ومتعدد الوسائط، ويحتوي على حوالي 2.8 تريليون معلمة. تم وصف 896 خبيرًا موزعًا، مع تفعيل 16 خبيرًا لكل رمز، وتصميم انتباه هجين يستخدم ثلاثة أرباع الكتل الانتباهية تقنية KDA، مما يخلق ضغط ذاكرة كبير.
تستخدم هواوي تقنية FSDP2 لتوزيع المعلمات والدرجات، مما يعزز الأداء. وقد زادت آلية التخزين الانتقائي المسماة Swap Core من أداء التدريب بمعدل 15% في التكوين الحالي، رغم عدم نشر معدل الإنتاجية المطلق.
تابع هذه المواضيع
سجّل دخولك لمتابعة المواضيع التي تهمك
يُنتج هذا الملخص باستخدام تقنيات الذكاء الاصطناعي مع مراجعة تحريرية دورية، ويرجى الرجوع إلى المصدر الأصلي للتفاصيل الكاملة.
0
0 يقرأون الآن
تقييم الخبر
سيظهر متوسط التقييم بعد 3 تقييمات.
لم تقم بالتقييم بعد.
سجل الدخول للتفاعل والتقييم والحفظ. تسجيل الدخول
