‫بسم هللا الرحمن الرحيم‬

‫‪Ch9‬‬ ‫تقنيات للنمذجة التنبؤية‬

‫أهداف التعلم‬

‫‪ .1‬فهم مفهوم وتعريفات الشبكات العصبية الاصطناعية ‪.)ANN( artificial neural networks‬‬

‫‪ .2‬التعرف على أنواع مختلفة من هندسة الشبكات العصبية الاصطناعية‪.‬‬

‫‪ .3‬معرفة كيفية حدوث عملية التعلم في الشبكات العصبية الاصطناعية‪.‬‬

‫‪ .4‬التعرف على تطبيقات الشبكات العصبية الاصطناعية‪.‬‬

‫‪ .5‬فهم تحليل الحساسية في الشبكات العصبية الاصطناعية‪.‬‬

‫‪ .6‬فهم مفهوم وهيكل آلات الدعم النوعي ‪.)SVM( support vector machines‬‬

‫‪ .7‬فهم مزايا وعيوب آلات الدعم النوعي (‪ )SVM‬مقارنة بالشبكات العصبية الاصطناعية (‪.)ANN‬‬

‫‪ .8‬فهم مفهوم وصياغة خوارزمية الجار الأقرب (‪.)k-nearest neighbor algorithm - kNN‬‬

‫‪ .9‬تعلم عملية تطبيق خوارزمية الجار الأقرب (‪.)kNN‬‬

‫‪ .10‬تعلم مزايا وعيوب خوارزمية الجار الأقرب (‪ )kNN‬مقارنة بالشبكات العصبية الاصطناعية (‪ )ANN‬وآلات الدعم‬
‫النوعي (‪.)SVM‬‬

‫مفاهيم شبكات العصب الاصطناعية‬

‫شبكات عصبية (‪ :)NN‬تشبيه بالدماغ لمعالجة المعلومات‬

‫حوسبة عصبية‬

‫شبكة عصبية اصطناعية (‪)ANN‬‬

‫العديد من الاستخدامات لشبكات العصب الاصطناعية للتعرف على الأنماط‪ ،‬والتنبؤ‪ ،‬والتوقعات‪ ،‬والتصنيف‬

‫العديد من مجالات التطبيق‬

‫المالية‪ ،‬والتسويق‪ ،‬وصناعة التصنيع‪ ،‬والعمليات‪ ،‬وأنظمة المعلومات‪ ،‬وما إلى ذلك‬
‫‪Dendrites‬‬
‫‪Synapse‬‬
‫‪Synapse‬‬

‫‪Axon‬‬

‫‪Axon‬‬

‫‪Dendrites‬‬ ‫‪Soma‬‬
‫‪Soma‬‬
 )‫خليتان متصلتان في الدماغ تسمئ (خلايا عصبية‬-

Inputs Weights Outputs

x1
w1 Y1

x2 w2 Neuron (or PE) f (S )

. S = 
n
X iW
Y
. Y2
. i =1
i

.
. Summation
Transfer
.
Function
wn Yn
xn

‫) مع مداخل ومخرجات‬PE - ‫عصب واحد (عنصر معالجة‬

 ‫عناصر الشبكات العصبية الاصطناعية‬
‫‪ .1‬عنصر المعالجة (‪ )PE‬أو العنصر الحسابي‪ :‬وحدة أساسية في الشبكة العصبية تقوم بمعالجة المعلومات‪.‬‬

‫‪ .2‬هندسة الشبكة‪ :‬هي الهيكل العام للشبكة العصبية وكيفية توصيل العناصر الحسابية ببعضها‪.‬‬

‫‪ . 3‬الطبقات الخفية‪ :‬الطبقات التي توجد بين الطبقة الدخلية وطبقة الإخراج وتستخدم لمعالجة المعلومات‪.‬‬

‫‪ . 4‬المعالجة المتوازية‪ :‬استخدام العديد من عناصر المعالجة لمعالجة المعلومات في وقت واحد‪.‬‬

‫‪ .5‬معالجة المعلومات في الشبكة‪ :‬كيفية تدفق المعلومات ومعالجتها في الشبكة العصبية‪.‬‬

‫‪ .6‬المداخل‪ :‬المعلومات التي تدخل إلى الشبكة العصبية‪.‬‬

‫‪ .7‬المخرجات‪ :‬النتائج أو الإخراج النهائي الذي يتم توليده بواسطة الشبكة‪.‬‬

‫‪ .8‬أوزان الاتصال‪ :‬القيم المستخدمة لتحديد قوة الاتصال بين عناصر المعالجة في الشبكة‪.‬‬

‫‪ .9‬دالة المجموع‪ :‬الوظيفة التي تقوم بجمع المداخلات المختلفة مع الأوزان لحساب مخرج العنصر الحسابي‪.‬‬

‫‪ . 10‬الطبقات الخفية‪ :‬الطبقات التي تتوسط بين الطبقة الدخلية وطبقة الإخراج وتؤدي إلى معالجة إضافية‬
‫واستخراج المزيد من المعلومات‪.‬‬

‫شبكة عصبية تحتوي على طبقة واحدة خفية‬

‫‪x1‬‬ ‫)‪(PE‬‬

‫‪x2‬‬ ‫‪Weighted Transfer‬‬

‫)‪(PE‬‬ ‫‪Sum‬‬ ‫‪Function‬‬
‫‪Y1‬‬
‫‪x3‬‬ ‫)‪(S‬‬ ‫)‪(f‬‬

‫)‪(PE‬‬

‫)‪(PE‬‬ ‫)‪(PE‬‬

‫‪Output‬‬
‫)‪(PE‬‬
‫‪Layer‬‬

‫‪Hidden‬‬
‫)‪(PE‬‬
‫‪Layer‬‬

‫‪Input‬‬
‫‪Layer‬‬
 ‫‪(a) Single neuron‬‬ ‫)‪Summation function: (b‬‬
‫‪Y =Multiple‬‬
‫‪3(0.2) +neurons‬‬
‫‪1(0.4) + 2(0.1) = 1.2‬‬
‫‪X1 = 3‬‬ ‫‪Transfer function:‬‬ ‫‪-1.2‬‬
‫‪x1‬‬ ‫‪W‬‬
‫‪1‬‬ ‫‪=0‬‬ ‫‪xY1T = 1/(1 +we11 ) = 0.77‬‬
‫)‪(PE‬‬ ‫‪Y1‬‬
‫‪w1‬‬ ‫‪.2‬‬
‫‪w21‬‬
‫)‪W2 = 0.4 (PE‬‬ ‫‪Y‬‬
‫‪Processing‬‬ ‫‪Y = 1.2‬‬
‫‪X2 = 1‬‬ ‫‪YT = 0.77‬‬
‫)‪element (PE‬‬
‫‪w1‬‬ ‫‪w12‬‬
‫‪.1‬‬
‫‪=0‬‬
‫‪x2‬‬ ‫‪W Y = X 1W1 + X 2W2‬‬
‫‪3‬‬
‫‪x2‬‬ ‫‪w22‬‬ ‫)‪(PE‬‬ ‫‪Y2‬‬
‫‪X3 = 2‬‬
‫)‪PE: Processing Element (or neuron‬‬

‫‪Y1 = X1W11 + X 2W21‬‬

‫‪w23‬‬
‫‪Y2 = X1W12 + X2W22‬‬
‫‪Y3 = X 2W 23‬‬ ‫)‪(PE‬‬ ‫‪Y3‬‬

‫وظيفة المجموع لعنصر واحد (‪ ،)a‬و‬

‫وظيفة المجموع لعدة عناصر (‪)b‬‬

‫‪-‬وظيفة التحويل (وظيفة النقل)‬

‫الوظيفة الخطية‬

‫وظيفة التنقل (التنشيط المنطقي) سيغمويد )‪]1 0[ (Sigmoid‬‬

‫وظيفة الظاهرة التنجسية (التنجانت الزائد) التنجانت هايبربوليك )‪]1 1-[ (Tangent Hyperbolic‬‬

‫هياكل الشبكات العصبية‬

‫تحكم هيكل الشبكة العصبية بالمهمة التي تهدف إلى حلها‪ ،‬مثل التصنيف‪ ،‬التحويل‪ ،‬التجميع‪ ،‬التحسين العام‪،‬‬
‫الارتباط‪ ،‬وغيرها‪.‬‬

‫أشهر هيكل هو الشبكة العصبية الأمامية متعددة الطبقات مع خوارزمية التعلم العميق الرجوعية‬
‫(‪ ،)Backpropagation‬و ُيستخدم لحل مشكلتي التصنيف والتحويل‪.‬‬

‫هناك هياكل أخرى مثل الشبكات العصبية الرجوعية (‪ ،)Recurrent‬وخرائط السمات الذاتية التنظيمية (‪Self-‬‬
‫‪ ،)organizing feature maps‬وشبكات ‪ ،Hopfield‬وغيرها‪.‬‬

‫هياكل الشبكات العصبية‬

 ‫شبكات عصبية أمامية متعددة الطبقات‬

‫شبكة عصبية أمامية متعددة الطبقات مع طبقة خفية واحدة‬

‫‪Socio-demographic‬‬
‫‪Predicted‬‬
‫=‬ ‫‪vs. Actual‬‬
‫‪Religious‬‬
‫‪Voted “yes” or‬‬
‫‪“no” to legalizing‬‬
‫‪Financial‬‬ ‫‪gaming‬‬

‫‪.‬‬ ‫‪.‬‬
‫‪.‬‬ ‫‪.‬‬
‫‪.‬‬ ‫‪.‬‬
‫‪Other‬‬

‫‪INPUT‬‬ ‫‪HIDDEN‬‬ ‫‪OUTPUT‬‬

‫‪LAYER‬‬ ‫‪LAYER‬‬ ‫‪LAYER‬‬

‫نماذج الشبكات العصبية الأخرى الشهيرة ‪ -‬خرائط التنظيم الذاتي (‪)SOM‬‬

‫‪Input 1‬‬

‫‪Input 2‬‬

‫‪Input 3‬‬

‫تم تقديمها لأول مرة من قبل الأستاذ التنغمي الفنلندي تيوفو كوهونن‪.‬‬
 ‫ُتستخدم لحل مشكلات التجميع والتجميع النوعي‪.‬‬

‫نماذج الشبكات العصبية الأخرى الشهيرة ‪ -‬شبكات هوبفيلد (‪)Hopfield Networks‬‬

‫‪I n p u t‬‬

‫‪O‬‬
‫‪u‬‬
‫‪t‬‬
‫‪p‬‬
‫‪u‬‬
‫‪t‬‬

‫‪.‬‬
‫‪.‬‬
‫‪.‬‬
‫تم تقديمها لأول مرة من قبل جون هوبفيلد‪.‬‬

‫تتضمن اتصالات كثيرة بين العصبونات‪.‬‬

‫ُتستخدم لحل مشكلات حوسبة معقدة مثل مشكلات الأمثلية‪.‬‬

‫عملية تطوير الشبكة العصبية‬
 ‫عملية تطوير الشبكة العصبية‪:‬‬

‫‪ . 1‬تجميع البيانات‪ :‬يتم جمع واستخراج البيانات المطلوبة لتدريب واختبار الشبكة العصبية‪.‬‬

‫‪ . 2‬تنظيم البيانات‪ :‬يتعين تنظيم البيانات في مجموعات تدريب واختبار لتمكين تقييم أداء النموذج‪.‬‬

‫‪ .3‬اختيار الهيكل‪ :‬يجب اختيار هيكل الشبكة العصبية المناسب وعدد الطبقات والعناصر في كل طبقة ووظائف‬
‫التنشيط‪.‬‬

‫‪ .4‬تهيئة الشبكة‪ :‬يتعين تهيئة الوزان والمعاملات الأخرى في الشبكة‪.‬‬

‫‪ . 5‬تدريب الشبكة‪ :‬تتم عملية تدريب الشبكة باستخدام البيانات المجموعة المنظمة وتقنيات مثل‬
‫‪ Backpropagation‬لتحسين الأوزان‪.‬‬

‫‪ .6‬تقييم الأداء‪ :‬يتم قياس أداء الشبكة باستخدام البيانات التي لم ُتستخدم في التدريب‪.‬‬

‫‪ .7‬تحسين النموذج‪ :‬يجب تحسين الشبكة عند الحاجة بتعديل الهيكل أو معاملات التكييف‪.‬‬

‫‪ .8‬نشر النموذج‪ :‬يتم نشر النموذج عندما يتم تحقيق الأداء المرغوب‪.‬‬

‫‪ . 9‬تحديث النموذج‪ :‬يجب تحديث النموذج بشكل دوري مع توافر مزيد من البيانات أو التغييرات في المهمة‬
‫المستهدفة‪.‬‬

‫هيكل شبكة عصبية اصطناعية ذات طبقات متعددة (‪ )MLP‬لمشكلة توقع إيرادات السينما‬
‫(‪.)Box-Office Prediction‬‬

‫‪Class 1 - FLOP‬‬
‫‪1‬‬ ‫)‪(BO < 1 M‬‬

‫)‪MPAA Rating (5‬‬ ‫‪Class 2‬‬

‫)‪(G, PG, PG13, R, NR‬‬
‫‪1‬‬ ‫‪2‬‬ ‫)‪(1M < BO < 10M‬‬

‫)‪Competition (3‬‬ ‫‪Class 3‬‬

‫)‪(High, Medium, Low‬‬
‫‪2‬‬ ‫‪3‬‬ ‫)‪(10M < BO < 20M‬‬

‫)‪Star Value (3‬‬ ‫‪Class 4‬‬

‫)‪(High, Medium, Low‬‬
‫‪3‬‬ ‫‪4‬‬ ‫)‪(20M < BO < 40M‬‬

‫)‪Genre (10‬‬ ‫‪Class 5‬‬

‫) ‪(Sci-Fi, Action, ...‬‬
‫‪4‬‬ ‫‪5‬‬ ‫)‪(40M < BO < 65M‬‬

‫)‪Technical Effects (3‬‬ ‫‪Class 6‬‬

‫)‪(High, Medium, Low‬‬
‫‪5‬‬ ‫‪6‬‬ ‫)‪(65M < BO < 100M‬‬

‫)‪Sequel (2‬‬ ‫‪Class 7‬‬

‫)‪(Yes, No‬‬
‫‪6‬‬ ‫‪7‬‬ ‫)‪(100M < BO < 150M‬‬
‫‪...‬‬ ‫‪...‬‬
‫‪Number of Screens‬‬ ‫‪Class 8‬‬
‫)‪(Positive Integer‬‬
‫‪7‬‬ ‫‪8‬‬ ‫)‪(150M < BO < 200M‬‬

‫‪Class 9 - BLOCKBUSTER‬‬
‫‪9‬‬ ‫)‪(BO > 200M‬‬

‫‪INPUT‬‬ ‫‪HIDDEN‬‬ ‫‪HIDDEN‬‬ ‫‪OUTPUT‬‬

‫‪LAYER‬‬ ‫‪LAYER I‬‬ ‫‪LAYER II‬‬ ‫‪LAYER‬‬
‫)‪(27 PEs‬‬ ‫)‪(18 PEs‬‬ ‫)‪(16 PEs‬‬ ‫)‪(9 PEs‬‬
 ‫اختبار نموذج الشبكة العصبية الاصطناعية المدرب‪.‬‬

‫يتم تقسيم البيانات إلى ثلاثة أجزاء‪:‬‬

‫‪ .1‬التدريب (حوالي ‪)%60‬‬

‫‪ .2‬التحقق (حوالي ‪)%20‬‬

‫‪ .3‬الاختبار (حوالي ‪)%20‬‬

‫التقييم المتقاطع بالتقسيم إلى ‪ k‬أقسام‪:‬‬

‫‪ -‬يستخدم لتقليل الانحياز في تقييم أداء النموذج‪.‬‬

‫‪ -‬يتطلب وق ًتا أطول للتنفيذ بمعدل أكبر من تقسيم البيانات إلى أجزاء ‪ k‬مختلفة وتدريب النموذج ‪ k‬مرات‪.‬‬

‫إضافيا بسبب العديد من‬

‫ً‬ ‫تستخدم لتقييم أداء النموذج بشكل أفضل وتقليل الانحياز‪ ،‬ولكنها تستهلك وق ًتا‬
‫التدريبات المتكررة‪.‬‬

‫عملية تعلم الشبكة العصبية (‪)ANN‬‬

‫عملية تعلم موجهة بالإشراف‬

‫عملية ثلاث خطوات‪:‬‬

‫‪ANN‬‬
‫‪Model‬‬

‫‪ .1‬حساب النواتج المؤقتة‪.‬‬

‫‪ .2‬مقارنة النواتج مع الأهداف المرغوبة‪.‬‬

‫‪Compute‬‬
‫‪ .3‬ضبط الأوزان وتكرار العملية‪.‬‬
‫‪output‬‬

‫‪Adjust‬‬ ‫‪No‬‬ ‫‪Is desired‬‬

‫‪weights‬‬ ‫‪output‬‬
‫?‪achieved‬‬

‫‪Yes‬‬

‫‪Stop‬‬
‫‪learning‬‬
 ‫تعلم الرجوع للخلف (‪)Backpropagation Learning‬‬

‫)‪a(Zi – Yi‬‬
‫‪x1‬‬ ‫‪error‬‬
‫‪w1‬‬

‫‪x2‬‬ ‫‪w2‬‬ ‫)‪Neuron (or PE‬‬ ‫) ‪f (S‬‬

‫) ‪Y = f (S‬‬
‫‪.‬‬ ‫= ‪S‬‬ ‫‪‬‬
‫‪n‬‬
‫‪X iW i‬‬
‫‪Yi‬‬
‫‪.‬‬ ‫‪i =1‬‬

‫‪.‬‬ ‫‪Summation‬‬
‫‪Transfer‬‬
‫‪Function‬‬
‫‪wn‬‬
‫‪xn‬‬

‫الرجوع للخلف للخطأ لعنصر واحد ( ‪)Backpropagation of Error for a Single Neuron‬‬

‫إجراء خوارزمية التعلم‪:‬‬

‫‪ .1‬قم بتهيئة الأوزان بقيم عشوائية وتعيين معلمات الشبكة الأخرى‪.‬‬

‫‪ .2‬اقرأ المدخلات والمخرجات المرغوبة‪.‬‬

‫‪ .3‬حساب الإخراج الفعلي (من خلال العملية الأمامية عبر الطبقات)‪.‬‬

‫‪ .4‬حساب الخطأ (الفرق بين الإخراج الفعلي والإخراج المرغوب)‪.‬‬

‫‪ .5‬تغيير الأوزان من خلال العملية الخلفية عبر الطبقات الخفية‪.‬‬

‫‪ .6‬كرر الخطوات ‪ 5-2‬حتى تستقر الأوزان‪.‬‬

‫إلقاء الضوء على الصندوق الأسود‪ :‬تحليل الحساسية في الشبكات العصبية الاصطناعية (‪)ANN‬‬
‫نقم بالرد على النقد الشائع للشبكات العصبية الاصطناعية (‪ :)ANN‬نقص الشفافية وقابلية الشرح‬

‫متلازمة الصندوق الأسود!‬

‫الحلاقة‪ :‬تحليل الحساسية‬

‫ُيجرى على شبكة عصبية اصطناعية مدربة‬

‫تتم تشويه المدخلات بينما يتم قياس أو تسجيل التغيير النسبي في الإخراج‬

‫توضح النتائج أهمية المتغيرات الدخلية النسبية‬

 ‫تحليل الحساسية على نماذج الشبكات العصبية الاصطناعية (‪)ANN‬‬

‫‪Systematically‬‬ ‫‪Trained ANN‬‬

‫‪Perturbed‬‬ ‫”‪“the black-box‬‬ ‫‪Observed‬‬
‫‪Inputs‬‬ ‫‪Change in‬‬
‫‪Outputs‬‬

‫‪D1‬‬

‫لمثال جيد‪ ،‬انظر إلى حالة التطبيق ‪6.3‬‬

‫يكشف تحليل الحساسية عن أهم عوامل شدة الإصابة في حوادث السير‪.‬‬

‫آلات الدعم النوعي (‪)Support Vector Machines - SVM‬‬

‫تعتبر واحدة من أكثر تقنيات التعلم الآلي شهرة‪.‬‬

‫تنتمي آلات الدعم النوعي إلى عائلة النماذج الخطية المعممة (‪ ،)generalized linear models‬وهي قادرة على‬
‫تمثيل العلاقات غير الخطية بشكل خطي‪.‬‬

‫استنادا إلى قيمة التركيب الخطي‬

‫ً‬ ‫تستخدم آلات الدعم النوعي لاتخاذ قرارات في مجالي التصنيف والتحويل‬
‫لميزات الإدخال‪.‬‬

‫أيضا بشبكات العصب الاصطناعية (‪.)ANN‬‬

‫ً‬ ‫نظرا لتشابه هياكلها‪ ،‬تكون آلات الدعم النوعي مرتبطة بشكب كبير‬
‫ً‬

‫هدف آلات الدعم النوعي (‪ :)SVM‬إنشاء وظائف رياضية ترتبط المتغيرات الدخلية بالمخرجات المرغوبة في‬
‫مشكلات التصنيف أو التحويل التحويل‪.‬‬

‫أولاً‪ ،‬تستخدم آلات الدعم النوعي وظائف نواة غير خطية لتحويل العلاقات غير الخطية بين المتغيرات إلى‬
‫فضاءات خصائص يمكن التفرقة بينها بشكل خطي‪.‬‬

‫استنادا إلى مجموعة البيانات التدريب‪.‬‬

‫ً‬ ‫ثم‪ ،‬تتم إنشاء السطوح الفاصلة بين الفئات المختلفة بأقصى حد‬

‫آلات الدعم النوعي لها أسس رياضية قوية‪.‬‬

‫السطح الفاصل (‪ )Hyperplane‬هو مفهوم هندسي ُيستخدم لوصف السطح الفاصل بين فئات مختلفة من‬
‫الأشياء‪.‬‬
‫في آلات الدعم النوعي (‪ ،)SVM‬يتم بناء سطوح فاصلة موازية في كل جانب من مساحة الفصل بهدف تعظيم‬
‫المسافة بينهما‪.‬‬

‫وظيفة النواة في آلات الدعم النوعي تستخدم تقنية النواة (‪ ،)Kernel Trick‬وهي طريقة لاستخدام خوارزمية‬
‫التصنيف الخطي لحل مشكلة غير خطية‪.‬‬

‫أكثر وظيفة نواة شائعة الاستخدام هي وظيفة قاعدة الأس (‪.)RBF‬‬

‫‪L1‬‬

‫‪M‬‬
‫‪X2‬‬ ‫‪X2‬‬

‫‪ar‬‬
‫‪gi‬‬
‫‪L2‬‬

‫‪n‬‬
‫‪e‬‬
‫‪an‬‬
‫‪L3‬‬ ‫‪pl‬‬
‫‪p‬‬ ‫‪er‬‬
‫‪hy‬‬
‫‪n‬‬
‫‪gi‬‬
‫‪ar‬‬
‫‪-m‬‬
‫‪um‬‬
‫‪im‬‬
‫‪ax‬‬
‫‪M‬‬

‫‪X1‬‬ ‫‪X1‬‬

‫يمكن أن تقوم العديد من المصنفات الخطية (سطوح فاصلة) بفصل البيانات‪.‬‬

‫كيف تعمل آلة الدعم النوعي (‪)SVM‬‬

‫بعد اتباع عملية التعلم الآلي‪ ،‬تتعلم آلة الدعم النوعي (‪ )SVM‬من الحالات التاريخية‪.‬‬

‫عملية بناء ‪ SVM‬تتضمن الخطوات التالية‪:‬‬

‫‪ .1‬معالجة البيانات‬

‫‪ -‬تنظيف وتحويل البيانات‪.‬‬

‫‪ .2‬تطوير النموذج‬

‫مناسبا)‪.‬‬
‫ً‬ ‫خيارا‬
‫ً‬ ‫(غالبا ما يكون ‪RBF‬‬
‫ً‬ ‫‪ -‬اختيار نوع النواة‬

‫‪ -‬تحديد معلمات النواة لنوع النواة المحدد‪.‬‬

‫‪ -‬إذا كانت النتائج مرضية‪ ،‬فقم بتحسين النموذج؛ وإلا‪ ،‬قم بتغيير نوع النواة و‪/‬أو معلمات النواة لتحقيق‬
‫مستوى الدقة المرغوب‪.‬‬
 ‫‪ .3‬استخراج ونشر النموذج‪.‬‬

‫عملية بناء آلة الدعم النوعي (‪)SVM‬‬

‫‪Pre-Process the Data‬‬ ‫تتضمن الخطوات التالية‪:‬‬

‫‪Training‬‬
‫‪data‬‬ ‫‪ü‬‬ ‫‪Scrub the data‬‬ ‫عملية بناء آلة الدعم النوعي (‪ )SVM‬تتضمن الخطوات التالية‪:‬‬
‫‪“Identify and handle missing,‬‬
‫”‪incorrect, and noisy‬‬
‫‪ü‬‬ ‫‪Transform the data‬‬
‫‪“Numerisize, normalize and‬‬
‫”‪standardize the data‬‬ ‫‪ .1‬معالجة البيانات‪:‬‬

‫‪ -‬تنظيف وتحويل البيانات لضمان جودة البيانات واستخدامها‬

‫‪Pre-processed data‬‬
‫بشكل فعال‪.‬‬
‫‪Develop the Model‬‬
‫‪Experimentation‬‬
‫‪ü‬‬ ‫‪Select the kernel type‬‬ ‫”‪“Training/Testing‬‬
‫‪“Choose from RBF, Sigmoid‬‬ ‫‪ .2‬تطوير النموذج‪:‬‬
‫”‪or Polynomial kernel types‬‬
‫‪ü‬‬ ‫‪Determine the kernel values‬‬
‫‪“Use v-fold cross validation or‬‬
‫‪ -‬اختيار نوع النواة (‪ :)Kernel Type‬تحديد نوع النواة‬
‫”’‪employ ‘grid-search‬‬
‫المناسب لمشكلة التصنيف أو التحويل‪.‬‬
‫‪Validated SVM model‬‬ ‫‪ -‬تحديد معلمات النواة‪ :‬تحديد المعلمات المناسبة‬

‫‪Deploy the Model‬‬

‫لنوع النواة المختار‪.‬‬
‫‪Prediction‬‬
‫‪ü‬‬ ‫‪Extract the model coefficients‬‬ ‫‪Model‬‬ ‫‪ -‬إذا كانت النتائج مرضية‪ ،‬يمكنك إكمال بناء النموذج؛‬
‫‪ü‬‬ ‫‪Code the trained model into‬‬
‫‪the decision support system‬‬ ‫وإلا‪ ،‬قد تحتاج إلى تغيير نوع النواة أو معلمات النواة‬
‫‪ü‬‬ ‫‪Monitor and maintain the‬‬
‫‪model‬‬
‫لتحقيق الدقة المرغوبة‪.‬‬

‫‪ .3‬استخراج النموذج‪:‬‬

‫‪ -‬بمجرد بناء النموذج بنجاح‪ ،‬يمكنك استخدامه لتصنيف البيانات الجديدة وتحويلها‪.‬‬

‫تطبيقات آلات الدعم النوعي (‪: )SVM‬‬

‫استخداما على نطاق واسع لمجموعة متنوعة من‬

‫ً‬ ‫آلات الدعم النوعي (‪ )SVM‬هي أكثر خوارزميات تعلم النواة‬
‫مشكلات التصنيف والتحويل‪.‬‬

‫حاليا حالة فنية متقدمة بفضل أدائها الممتاز في التعميم‪ ،‬وقوتها التنبؤية الفائقة‪،‬‬
‫ً‬ ‫تمثل آلات الدعم النوعي‬
‫وسهولة استخدامها‪ ،‬وأسسها النظرية الصارمة‪.‬‬

‫معظم الدراسات المقارنة تظهر تفوق آلات الدعم النوعي على الشبكات العصبية الاصطناعية (‪ )ANN‬سواء في‬
‫مشكلات التحويل أو التصنيف من نوعي التنبؤ والتصنيف‪.‬‬

‫المقارنة بين ‪ SVM‬و ‪ANN‬؟‬

 ‫طريقة الجار الأقرب (‪)k-NN‬‬
‫حسابيا‬
‫ً‬ ‫شبكات العصب الاصطناعي (‪ )ANN‬وآلات الدعم النوعي (‪ )SVM‬تعتبران مكلفة من حيث الوقت ومكلفة‬
‫نظرا للعمليات التفاضلية التكرارية‪.‬‬
‫ً‬
‫طريقة الجار الأقرب (‪ )k-NN‬هي طريقة تنبؤ بسيطة ومنطقية تنتج نتائج تنافسية للغاية‪.‬‬

‫‪ k-NN‬هي طريقة تنبؤ تستخدم للتصنيف وكذلك لأنواع التحويل (مشابهة لـ ‪ ANN‬و ‪.)SVM‬‬

‫استنادا إلى الحالة (أو التعلم الكسول) ‪ -‬معظم العمل يحدث في وقت التنبؤ‬
‫ً‬ ‫‪ k-NN‬هي نوع من أنواع التعلم‬
‫(ليس أثناء النمذجة)‪.‬‬

‫‪ k‬هو عدد الأجور المستخدم‪.‬‬

‫‪Y‬‬

‫‪k=3‬‬

‫‪k=5‬‬
‫‪Yi‬‬

‫‪Xi‬‬ ‫‪X‬‬

‫الإجابة تعتمد على قيمة ‪.k‬‬

‫عملية طريقة الجار الأقرب (‪:)k-NN‬‬

‫‪ .1‬تحديد عدد الجيران (‪ :)k‬قم بتحديد قيمة ‪ ،k‬وهي عدد الأجيران الأقرب الذين سيتم استخدامهم لاتخاذ القرار‪.‬‬
‫‪ . 2‬حساب المسافات‪ :‬قم بحساب المسافات بين العنصر الذي تريد تصنيفه أو تحويله وبين جميع العناصر الأخرى‬
‫في مجموعة البيانات‪.‬‬

‫بناء على المسافات التي تم حسابها‪.‬‬

‫ً‬ ‫‪ .3‬تحديد الأجور الأقرب‪ :‬اختر الأجيران الـ ‪ k‬الأقربين إلى العنصر الهدف‬

‫بناء على الفئات أو القيم المصاحبة للأجور الـ ‪ k‬الأقربين‪ ،‬اتخذ القرار بشأن تصنيف العنصر الهدف‬
‫ً‬ ‫‪ .4‬اتخاذ القرار‪:‬‬
‫أو قيمته المتوقعة‪.‬‬

‫‪ .5‬الانتهاء‪ :‬قد انتهيت من تنفيذ طريقة الجار الأقرب‪.‬‬

‫هذه هي الخطوات الرئيسية لعملية طريقة الجار الأقرب (‪.)k-NN‬‬

‫‪Training Set‬‬
‫‪Parameter Setting‬‬

‫‪Historic Data‬‬ ‫‪ü Distance measure‬‬

‫”‪ü Value of “k‬‬

‫‪Validation Set‬‬

‫‪Predicting‬‬
‫)‪Classify (or Forecast‬‬
‫‪new cases using k‬‬
‫‪number of most‬‬
‫‪similar cases‬‬

‫‪New Data‬‬
 ‫معلمة نموذج طريقة الجار الأقرب (‪)k-NN‬‬

‫هي قيمة ‪ ، k‬وهي تمثل عدد الأجيران الأقربين الذين سيتم استخدامهم في تحديد التصنيف أو التحويل‪ .‬قيمة ‪k‬‬
‫تكون عادة محددة مسب ًقا ويتعين اختيارها بعناية وف ًقا للمشكلة المحددة ومجموعة البيانات‪ .‬تجرى عمليات‬
‫اختبار متعددة لاختيار أفضل قيمة ‪ k‬لضمان أداء أفضل للنموذج‬

‫‪Similarity Measure: The Distance Metric‬‬ ‫‪1-‬قياس التشابه‪ :‬مقياس المسافة‪.‬‬

‫القيم العددية مقابل القيم الاسمية؟‬

‫‪-2‬عدد الأجيران (قيمة ‪)k‬‬

‫أفضل قيمة تعتمد على البيانات‬

‫وضوحا‬
‫ً‬ ‫أيضا تجعل حدود الفئات أقل‬
‫ً‬ ‫القيم الأكبر تقلل من تأثير الضوضاء ولكنها‬

‫يمكن العثور على قيمة "مثلى" بطريقة تجريبية‬

‫غالبا ما يتم استخدام التقييم المتقاطع لتحديد أفضل قيمة لـ ‪ k‬وقياس المسافة‪.‬‬
‫ً‬

‫تم بحمد هللا‪..‬‬