أسس البيانات وتعلم الآلة وتقييم النماذج
تجهيز البيانات، وخوارزميات التعلم الرئيسية، وكيف تقيّم النموذج تقييمًا صحيحًا وتختار المقياس المناسب للمشكلة.
في هذه الصفحة
- شرح كل قسم
- تمارين تفاعلية بعد كل قسم
- بطاقات سؤال وجواب تُقلب
- اختبار على الموضوع كامل
- سيناريوهات ومصطلحات في آخر الصفحة
1. تنظيف البيانات والمعالجة المسبقة
معظم الشغل في مشروع التعلم الآلي هو إصلاح البيانات. وخوارزمية ممتازة على بيانات سيّئة تخسر أمام خوارزمية بسيطة على بيانات نظيفة.
ابدأ بالقيم الناقصة. عندك ثلاث خيارات حقيقية: تحذف الصفوف، أو تعبّيها (وهذا اسمه Imputation)، أو تتركها إذا نموذجك يتعامل معها. والصح يعتمد على كم بيانات بتخسر، وهل غياب القيمة نفسه يعني شي.
والجزء الثاني هذا أهم مما يتصوّر الناس. لو كان الدخل ناقص غالبًا عند المتقدّمين العاطلين، فالغياب إشارة مو ضوضاء. وتعبئته بالمتوسط تمحي الإشارة. وإضافة عمود was_missing تحفظها.
وللتعبئة نفسها: استخدم المتوسط للبيانات الرقمية المتماثلة تقريبًا، والوسيط لما تكون ملتوية أو فيها قيم شاذة، والمنوال للفئات. والقاعدة اللي ما تكسرها — احسب الإحصائية على بيانات التدريب فقط، ثم طبّق نفس القيمة على بيانات الاختبار. وإلا سرّبت معلومات الاختبار للتدريب.
بعدين القيم الشاذة. وفيه طريقتين معتادتين تلقاها فيهم: طريقة المدى الربيعي (IQR) تعلّم أي قيمة تحت Q1 − 1.5×IQR أو فوق Q3 + 1.5×IQR، وطريقة الدرجة المعيارية (z-score) تعلّم أي قيمة تبعد أكثر من ثلاثة انحرافات معيارية عن المتوسط.
لكن اكتشاف القيمة الشاذة مو نفس حذفها. اسأل أول: هل هي خطأ ولا حالة متطرّفة حقيقية؟ فعمر 500 خطأ إدخال ولازم يروح. لكن عملية حقيقية بـ50 مليون ريال في بيانات احتيال هي بالضبط اللي تحاول تمسكه — وحذفها غلطة خطيرة.
وأخيرًا التكرار. الصفوف المكرّرة تمامًا تنفخ بياناتك، وممكن تسرّب نفس السجل لبيانات التدريب والاختبار مع بعض، وهذا يضخّم نتائجك بصمت. افحصها بدري.
تخيّلها كذا
كشف حساب فيه مشتريات صغيرة، وبينها حوالة بخمسين مليون ريال. التفسير إما خطأ إدخال فتصلّحه، أو أكبر عميل عندك فما تحذفه أبدًا. الرقم واحد في الحالتين — وتنظيف البيانات هو أنك تسأل أيّهما قبل ما تمدّ يدك.
نقاط أساسية للحفظ
- غياب القيمة ممكن يكون إشارة بنفسه — فكّر بإضافة عمود was_missing.
- المتوسط للبيانات المتماثلة، والوسيط للملتوية، والمنوال للفئات.
- احسب إحصائيات التعبئة على بيانات التدريب فقط دائمًا.
- القيمة الشاذة ما هي خطأ تلقائيًا — تحقّق قبل الحذف.
مصطلحات مهمة
- Imputation
- تعبئة القيمة الناقصة بتقدير، مثل وسيط العمود.
- IQR
- المدى الربيعي — تشتّت الـ50٪ الوسطى من البيانات، ويُستخدم لتعليم القيم الشاذة.
تمرّن على هذا القسم
0 / 6بطاقات مراجعة سريعة
1 / 4هذي معاينة مجانية
فتحنا لك القسم الأول عشان تشوف بالضبط كيف مكتوبة الشروحات. وبقية أقسام هذا الموضوع (7) بتمارينها وبطاقاتها تُفتح بالاشتراك.
اللي يبقى مقفلًا في هذا الموضوع:
- 2. هندسة السمات والترميز وتوحيد المقياس
- 3. التعلم الموجَّه: الانحدار والتصنيف
- 4. الخوارزميات الأساسية: الأشجار وSVM وKNN والتجميعات
- 5. التعلم غير الموجَّه والتجميع
- 6. التقييم: مصفوفة الالتباس والضبط والاستدعاء
- 7. منحنى ROC-AUC واختيار العتبة
- 8. الإفراط والقصور في المُلاءمة والتحقّق المتقاطع
الاشتراك يفتح هذا في المواضيع الثمانية كلها — كل الأقسام، وبنك الأسئلة الكامل، وتمارين السيناريوهات والمصطلحات، والاختبار الشامل.
افتح كل المحتوىتدريب إضافي على هذا الموضوع
الاثنان يسحبان من كل الأقسام أعلاه، بترتيب عشوائي جديد كل مرة.