تشغيل نماذج الذكاء الاصطناعي مباشرةً على الأجهزة نفسها، كالهواتف والكاميرات والسيارات، بدلاً من إرسال البيانات إلى السحابة. ميزته استجابة فورية، وبيانات لا تغادر الجهاز، وعمل دون إنترنت؛ وثمنه حوسبة وذاكرة محدودتان تفرضان نماذج أصغر. ويناسب حين تكون السرعة أو الخصوصية أهم من قوة النموذج، كالهواتف التي تشغّل الذكاء الاصطناعي على معالج عصبي مدمج (NPU).