مقايضة الانحياز والتباين (Bias-Variance) Bias-Variance Tradeoff

الصياغة

Expected MSE = Bias² + Variance + Noise

(تحت افتراضات: انحدار موجّه، squared loss، i.i.d.)

• Bias عالٍ + Variance منخفض = underfitting
• Bias منخفض + Variance عالٍ = overfitting
• الحل الأمثل = أقل مجموع ممكن

📄 مثال

from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import cross_val_score

# تعقيد متغير: درجة متعددة الحدود
for degree in [1, 3, 15]:
    model = make_pipeline(PolynomialFeatures(degree), LinearRegression())
    score = cross_val_score(model, X, y, cv=5).mean()
    print(f"الدرجة {degree:2d} → متوسط R²: {score:.3f}")
# الدرجة المنخفضة = انحياز عالٍ
# الدرجة العالية جدًا = تباين عالٍ وفرط تعلّم

أهم النقاط

💡 نصائح عملية

• حين ترى خطأ تدريب منخفضًا وخطأ تحقق عاليًا، التباين هو المشكلة — الحل: جمع بيانات أو تبسيط النموذج
• حين يكون خطأ التدريب والاختبار كلاهما عاليًا، الانحياز هو المشكلة — الحل: نموذج أعقد أو ميزات أفضل

⚠️ أخطاء شائعة

• الخلط بين "نموذج معقّد" و"نموذج جيد" — في بيانات قليلة، المعقّد أكثر عرضة للتباين العالي
• تطبيق صيغة Bias² + Variance + Noise على مقاييس خسارة غير تربيعية أو خارج الانحدار الموجه — لا تنطبق بالضرورة

خصائص ذات صلة