التدريبالتدريب المسبقPre-trainingالمرحلة الأولى والأكبر في بناء النموذج، حيث يتعلّم من كميات هائلة من النصوص قبل أي تخصيص لاحق.