معالجة النصوص (NLP Preprocessing)

import unicodedata

text = "   Hello,\t\nworld!  "
clean = text.strip()                                  # إزالة الفراغات الطرفية
clean = " ".join(text.split())                        # طيّ كل الفراغات إلى مفردة
print(repr(clean))                                    # 'Hello, world!'

# NFKC تطبيع Unicode — مثل تصحيح بعض أشكال الحروف
s = "Ｈｅｌｌｏ"                                        # Fullwidth Latin
print(unicodedata.normalize("NFKC", s))               # 'Hello'

text = "New York is the city of Dreams."
print(text.lower())   # "new york is the city of dreams."
print(text.upper())   # "NEW YORK IS THE CITY OF DREAMS."

import re

text = "Hello!!! Call me at 555-1234, ok?"
text_clean = re.sub(r"[^\w\s]", "", text)
print(text_clean)   # "Hello Call me at 5551234 ok"

text = "Check https://x.com post by @user about #python 😊"
text = re.sub(r"https?://\S+|www\.\S+", "<URL>", text)
text = re.sub(r"@\w+", "<USER>", text)
text = re.sub(r"#(\w+)", r"\1", text)               # نزع # مع إبقاء الكلمة
print(text)                                         # "Check <URL> post by <USER> about python 😊"

"I love this product 😊"     → إيجابي
"I hate this product 😡"     → سلبي

from sklearn.feature_extraction.text import ENGLISH_STOP_WORDS

example = "this is a great movie"
words = [w for w in example.split() if w not in ENGLISH_STOP_WORDS]
print(words)   # ['great', 'movie']

running → run
studies → studi    (بعض الخوارزميات تنتج جذور غير حقيقية)
flies → fli

running → run
studies → study
flies → fly
better → good    (يحتاج معرفة)

# NLTK مثال (إن كان متوفرًا)
# from nltk.stem import PorterStemmer, WordNetLemmatizer
# ps = PorterStemmer()
# ps.stem("running")    # 'run'

import unicodedata

# الهمزة على الألف
print(unicodedata.normalize("NFKC", "إحسان"))   # 'إحسان' (تبقى منفصلة)

# تطبيع الهمزة إلى الألف البسيطة — سلوك شائع لكنه يحذف معلومات
text = "أحمد، إسلام، آدم"
normalized = text.replace("إ", "ا").replace("أ", "ا").replace("آ", "ا")
print(normalized)                                # 'احمد، اسلام، ادم'

import re

text = "مـــــرحـبـــــا"
clean = re.sub(r"\u0640+", "", text)
print(repr(clean))   # 'مرحبا'

import re

text = "مَرْحَبًا"
no_diactrics = re.sub(r"[\u064B-\u0652\u0670]", "", text)
print(repr(no_diactrics))   # 'مرحبا'

# تطبيع "ة" إلى "ه" — لا تفعل هذا تلقائيًا
text = "مكتبة كبيرة"
print(text.replace("ة", "ه"))   # 'مكتبه كبيره'

# يختلف سلوك التطبيع المطلوب بين:
# - البحث النصّي
# - lemmatization الصرفية
# - UI display

text = "العنوان: Hello مرحبا 2026"

# regex بسيط يفصل الأحرف اللاتينية عن العربية
import re
latin_words = re.findall(r"[A-Za-z]+", text)
arabic_chars = re.findall(r"[\u0600-\u06FF]+", text)
print(latin_words, arabic_chars)
# ['Hello'] ['العنوان', 'مرحبا']

Transformer حديث (مثل BERT / GPT / نماذج عربية مُدرَّبة مسبقًا):
   → لا تطبّق stemming
   → لا تحذف stopwords
   → لا تُنزّل الحالة افتراضيًا
   → دع tokenizer يتعلّم ما يهم

import re
import unicodedata

def preprocess(text, lang="mixed", aggressive=False):
    text = text.strip()
    text = " ".join(text.split())                              # توحيد الفراغات
    text = unicodedata.normalize("NFKC", text)                  # Unicode NFKC

    if aggressive:
        text = re.sub(r"https?://\S+|www\.\S+", " ", text)     # URLs
        text = re.sub(r"@\w+", " ", text)                       # mentions
        text = re.sub(r"#(\w+)", r"\1", text)                   # hashtags
        text = re.sub(r"[^\w\s\u0600-\u06FF]", " ", text)       # إزالة الترقيم
        text = re.sub(r"\u0640+", "", text)                     # tatweel

    if lang in ("en", "mixed"):
        if aggressive:
            text = text.lower()

    return text.strip()