التعلّم بالنقل (Transfer Learning) Transfer Learning

الصياغة

import torchvision.models as models

# 1) حمّل نموذج مدرب مسبقًا
model = models.resnet18(weights=models.ResNet18_Weights.DEFAULT)

# 2) تجمّد المعاملات (Feature Extraction)
for param in model.parameters():
    param.requires_grad = False

# 3) استبدل الطبقة الأخيرة بمصنّف جديد
model.fc = nn.Linear(512, num_classes)

📄 مثال

import torch
import torch.nn as nn
import torchvision.models as models

# 1) ResNet18 مدرب على ImageNet
model = models.resnet18(weights=models.ResNet18_Weights.DEFAULT)

# 2) تجمّد كل الأوزان الموجودة
for param in model.parameters():
    param.requires_grad = False

# 3) استبدل الطبقة الأخيرة (1000 فئة → 5 فئات مثلًا)
num_features = model.fc.in_features
model.fc = nn.Linear(num_features, 5)

# 4) الآن فقط model.fc.parameters() قابل للتعلّم
trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
print(f"معاملات قابلة للتعلّم: {trainable:,}")

# Fine-tuning: فك تجميد آخر طبقة أو اثنتين
for param in model.layer4.parameters():
    param.requires_grad = True

أهم النقاط

💡 نصائح عملية

• ابدأ بـ Feature Extraction أولًا — أبسط وأسرع. انتقل لـ Fine-tuning فقط إن لم تكفِ
• جرّب learning rate صغير نسبيًا لـ Fine-tuning ثم ارفعه أو اخفضه حسب سلوك الخسارة — لا توجد قيمة ثابتة صحيحة لكل نموذج/بيانات

⚠️ أخطاء شائعة

• افتراض أن التعلّم بالنقل دائمًا يحسّن الأداء — إن كانت بياناتك مختلفة جذريًا عن بيانات pre-training، قد لا يفيد
• Fine-tuning بـ learning rate مفرط — قد يُضعف التمثيلات المدربة مسبقًا أو يزعزع استقرار التدريب (catastrophic forgetting). القيمة الآمنة تعتمد على النموذج والبيانات والمُحسّن

خصائص ذات صلة