أشجار القرار و Random Forest

                  هل الدخل > 50K؟
                  /            \
               نعم             لا
              /                 \
        هل عمر > 30؟       هل عمر > 25؟
        /       \           /        \
      نعم      لا        نعم        لا
      /         \         /           \
   Yes       No        Yes          No
   (شراء)  (لا شراء)  (لا شراء)    (لا شراء)

لكل ميزة:
  لكل عتبة ممكنة:
    قسّم البيانات إلى مجموعتين
    احسب "نقاء" كل مجموعة
اختر الميزة + العتبة بأفضل نقاء

مجموعة [Yes, Yes, Yes]  →  Gini = 0 (نقيّة تمامًا)
مجموعة [Yes, No]        →  Gini = 0.5 (غير نقيّة)
مجموعة [Yes, Yes, No]   →  Gini ≈ 0.44

from sklearn.tree import DecisionTreeClassifier

# شجرة بدون قيود → overfitting
tree_unrestricted = DecisionTreeClassifier()
tree_unrestricted.fit(X_train, y_train)
print("Train accuracy:", tree_unrestricted.score(X_train, y_train))   # ~1.0
print("Test accuracy:", tree_unrestricted.score(X_test, y_test))     # ~0.6

# شجرة بعمق محدود → تعميم أفضل
tree_limited = DecisionTreeClassifier(max_depth=3)
tree_limited.fit(X_train, y_train)
print("Train accuracy:", tree_limited.score(X_train, y_train))   # ~0.85
print("Test accuracy:", tree_limited.score(X_test, y_test))     # ~0.82

from sklearn.tree import export_text

print(export_text(tree_limited, feature_names=['age', 'income', 'browsed']))

from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plot_tree(tree_limited, feature_names=['age', 'income'], class_names=['No', 'Yes'], filled=True)
plt.show()

1. خذ N عينات bootstrap (عينات عشوائية مع إعادة) من بيانات التدريب
2. درّب شجرة قرار على كل bootstrap sample
   (لكن في كل تقسيم، اختر feature عشوائيًا من subset وليس كل الميزات)
3. عند التنبّؤ:
   - للتصنيف: صوّت بأغلب الأشجار
   - للانحدار: خذ متوسّط تنبّؤات الأشجار

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# بيانات عشوائية للتجربة
X, y = make_classification(
    n_samples=200, n_features=10, n_informative=5,
    n_redundant=2, random_state=42
)

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=42
)

# تدريب
rf = RandomForestClassifier(
    n_estimators=100,    # عدد الأشجار
    max_depth=5,         # عمق كل شجرة
    random_state=42
)
rf.fit(X_train, y_train)

# تقييم
train_acc = accuracy_score(y_train, rf.predict(X_train))
test_acc = accuracy_score(y_test, rf.predict(X_test))

print(f"Train accuracy: {train_acc:.3f}")
print(f"Test accuracy: {test_acc:.3f}")

import matplotlib.pyplot as plt

importances = rf.feature_importances_
plt.bar(range(len(importances)), importances)
plt.xlabel("Feature index")
plt.ylabel("Importance")
plt.title("Feature Importance from Random Forest")
plt.show()