تنظيف البيانات وإعدادها (Data Cleaning and Preparation) – أساس التحليل الموثوق

بنهاية هذه الدورة، سيكون المشارك قادرًا على:

1. تحديد المشكلات الشائعة في البيانات الأولية – التعرف على: القيم المفقودة (Missing values)، القيم المتطرفة (Outliers)، التكرارات (Duplicates)، البيانات غير المتسقة (Inconsistent data)، التنسيقات الخاطئة (Wrong formats)، الأعمدة غير الضرورية (Irrelevant columns).

2. تطبيق استراتيجيات معالجة القيم المفقودة (Handling Missing Values) – التمييز بين (Missing Completely at Random – MCARMissing at Random – MAR، و Missing Not at Random – MNAR). اختيار استراتيجية مناسبة: إزالة الصفوف (Deletion)، تعويض بالمتوسط/الوسيط/المنوال (Imputation)، تعويض بالقيمة السابقة (Forward fill) أو اللاحقة (Backward fill)، تعويض بقيمة ثابتة، استخدام نموذج تنبؤي (بسيط)

3. اكتشاف ومعالجة التكرارات (Duplicates) – استخدام طرقالبصرية، الإحصائية، باستخدام التواقيع (Hashing)) لاكتشاف التكرارات. إزالة التكرارات مع الاحتفاظ بالسجل الأول أو الأخير

4. توحيد البيانات وتصحيح التنسيقات (Standardization & Formatting) – توحيد كتابة التواريخ (تحويل إلى تنسيق واحد)، توحيد العملات (تحويل إلى عملة مرجعية)، توحيد الوحدات (تحويل إلى وحدة قياس واحدة)، توحيد النصوص (إزالة المسافات الزائدة، تحويل إلى حالة أحرف موحدة (UPPER/lower)، تصحيح الأخطاء الإملائية باستخدام القواميس

5. معالجة القيم المتطرفة (Outliers) – اكتشاف القيم المتطرفة باستخدام (Z-scoreIQR (Interquartile Range)Boxplots). اتخاذ قرارات: إزالة، تعويض، تحويل (Log transformation)، أو الاحتفاظ بها (إذا كانت صحيحة وتعبر عن حالات نادرة ولكنها حقيقية)

6. تحويل البيانات (Data Transformation) – تطبيع البيانات (Normalization) (Min-MaxZ-score) لجعلها على مقياس موحد (خاصة لخوارزميات التعلم الآلي). تشفير المتغيرات الفئوية (Encoding) (One-Hot EncodingLabel Encoding). إلغاء دمج الأعمدة (Unpivot) وتحويلها من عرضية إلى عمودية

7. استخدام أدوات متعددة لتنظيف البيانات (Excel Power QuerySQLPython Pandas) – اختيار الأداة المناسبة حسب حجم البيانات وتعقيد المهمة

يستهدف هذا البرنامج التدريبي الفئات التالية:

1. محللو البيانات الطموحون والحاليون (Data Analysts).

2. علماء البيانات (Data Scientists) الذين يحتاجون إلى تنظيف البيانات قبل النمذجة

3. مهندسو البيانات (Data Engineers) الذين يبنون خطوط أنابيب ETL/ELT.

4. مطورو ومسؤولو قواعد البيانات (DBAs).

5. أي شخص يتعامل مع البيانات القذرة في عمله اليومي (محاسبون، مسوقون، باحثون)