‫استخراج األسئلة من النصوص التعليمية بهدف التعليم‬

‫والتقييم‬
‫ملخص‬
‫ً‬
‫تعتبر عملية وضع األسئلة يدويا عملية مكلفة من حيث الجهد واملال والوقت‪ ،‬وبالتالي فإن وجود نظام ذكي يقوم باستخراج األسئلة من النصوص يقلل تلك‬
‫ً‬ ‫ً‬ ‫ً‬
‫التكاليف ويعزز العملية التعليمية‪ .‬وبالرغم من أن البحث في تطوير هذه األنظمة الذكية ليس جديدا‪ ,‬إال أنه ال يزال مجاال نشطا‪ .‬وفي هذا التقرير سنقوم‬
‫بعمل نظرة سريع على الدراسات املهمة في هذا املجال وسنقوم بشرح املخطط العام لعمل األنظمة الحالية باإلضافة إلى شرح طرق تقييم هذه األنظمة وبيان‬
‫صعوبات تطويرها بشكل عام‪.‬‬

‫جدول المحتويات‬
‫ملخص ‪1....................................................................................................................................................................................................................................................‬‬
‫مقدمة ‪1.....................................................................................................................................................................................................................................................‬‬
‫تعريفات ‪2............................................................................................................................................................................................................................................‬‬
‫استخراج األسئلة من النصوص ‪3............................................................................................................................................................................................................‬‬
‫املنهجية العامة لتطوير أنظمة استخراج األسئلة من النصوص ‪3...................................................................................................................................................‬‬
‫استخراج األسئلة متعددة الخيارات باستخدام األنطولوجيات ‪6......................................................................................................................... Ontologies‬‬
‫استخراج األسئلة باستخدام نماذج إحصائية ‪6...........................................................................................................................................................Neural QG‬‬
‫مجموعات البيانات ‪7......................................................................................................................................................................................................... Datasets‬‬
‫معايير التقييم ‪8..................................................................................................................................................................................................................................‬‬
‫التحديات ‪9..........................................................................................................................................................................................................................................‬‬
‫دراسة مرجعية ‪9....................................................................................................................................................................................................... Literature review‬‬
‫ً‬
‫استخراج األسئلة آليا في اللغة العربية ‪11 .........................................................................................................................................................................................‬‬
‫مناقشة ‪11 ................................................................................................................................................................................................................................................‬‬
‫خالصة ‪12 .................................................................................................................................................................................................................................................‬‬
‫املراجع ‪12 ..................................................................................................................................................................................................................................................‬‬
‫ملحق ‪14 ....................................................................................................................................................................................................................................................‬‬

‫مقدمة‬
‫ملحة لوجود كميات كبيرة من األسئلة املعدة‬‫مع ظهور تقنيات التعلم اإللكتروني (‪ )e-learning systems‬وكورسات التعلم عن بعد (‪ )MOOCs‬أصبحت الحاجة ّ‬
‫لطرحها على آالف الطالب الذين يحضرون الدرس الواحد‪ .‬وتعتبر عملية وضع األسئلة متنوعة الصعوبة والتي تختبر فهم الطالب للمادة العلمية عملية مكلفة‬
‫من حيث الوقت والجهد واملال )‪ .(Soni, Kumar, & Saha, 2019‬ومن أكبر فوائد وجود أنظمة ذكية تقوم باستخراج األسئلة من النصوص‪(Thalheimer, :‬‬
‫)‪ .1 2003‬اختبار قدرة الطالب على استرجاع املعلومات التي تم تدرسيها في الصف ‪ .2‬إتاحة املعلومات الصحيحة للطالب فيما يتعلق باملفاهيم واألمور التي قد‬
‫‪1‬‬
 ‫يشكل على الطالب فهمها ‪ .3‬مساعدة الطالب على التركيز على املفاهيم املهمة ‪ .4‬مساعدة الطالب على فهم املوضوع من خالل طرح أسئلة متنوعة عن نفس‬
‫املوضوع‪ .‬وتعتبر األسئلة من نوع (ملاذا‪ ,‬أين‪ ,‬ما‪ ,‬متى‪ ,‬من) مفيدة للطالب الستخراج املعلومات من النص‪ (Ch & Saha, 2018) .‬ومع ذلك فإن توليد هذه األسئلة‬
‫ً‬
‫يتطلب مستو ًى عاليا من اإلدراك والتركيز )‪ .(Pan, Lei, Chua, & Kan, 2019‬وبحسب )‪ (Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬فإن أنظمة استخراج‬
‫األسئلة من النصوص ستساعد املدرس على توجيه طاقته واستثمار وقته في أنشطة أكثر أهمية من ّ‬
‫مجرد وضع األسئلة (مثل إغناء وتطوير املادة التعليمية)‪,‬‬
‫ً‬
‫باإلضافة إلى إغناء العملية التعليمية وتوفير بنوك من األسئلة الختبار فهم الطالب للمادة العلمية‪ .‬أيضا يمكن لهذه األنظمة أن تساعد في تطوير أنظمة ذكية‬
‫أخرى مثل أنظمة املحادثة اآللية (مثل ‪ )Chat bot‬بهدف الحصول على معلومات دقيقة من الزبائن )‪ .(Pan, Lei, Chua, & Kan, 2019‬وفي هذا التقرير سنقوم‬
‫ً‬
‫بعمل نظرة عامة على املنهجيات الحالية املستخدمة في تطوير أنظمة استخراج األسئلة آليا‪ ,‬وقد تم تقسيم بقية التقرير إلى الفقرات التالية‪ :‬في البداية نقوم‬
‫ً‬ ‫ً‬
‫بتعريف املسألة وتعريف بعض املفاهيم املتعلقة بها‪ ,‬ثم ننتقل للشرح عن املنهجية العامة لتطوير أنظمة استخراج األسئلة آليا‪ ,‬ونتحدث أيضا عن طرق‬
‫تقييمها والصعوبات التي تواجهها‪.‬‬

‫تعريفات‬
‫ً‬
‫استخراج األسئلة آليا هي عملية وضع أسئلة ملختلف أنواع املدخالت النصية املهيكلة (تمثيالت داللية ‪ ,Semantic representations‬أنطولوجيات‬
‫‪ )Ontologies‬أو غير املهيكلة (النصوص العادية) )‪ . (Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019) (Pan, Lei, Chua, & Kan, 2019‬ويعتبر البحث في هذه‬
‫ً‬ ‫ً‬
‫املسألة بحثا نشيطا )‪ .(Ch & Saha, 2018‬يتم تقسيم املسألة إلى مرحلتين‪ :‬مرحلة تتعلق ب (ما هو محور السؤال) ومرحلة تتعلق ب (كيفية طرح السؤال)‪ ,‬وفي‬
‫املرحلة األولى تنشط تقنيات فهم النصوص‪ ,‬أما في املرحلة الثانية فتنشط تقنيات معالجة النصوص )‪ (Pan, Lei, Chua, & Kan, 2019‬وولكل مرحلة تحديات‬
‫ً‬
‫خاصة بها إال أن فهم النصوص يتطلب مستوى أعلى من املعالجة وتواجهه تحديات أكبر من تلك املتعلقة بمعالجة النصوص آليا‪ .‬ومن الضروري التفريق بين‬
‫ً‬ ‫ً‬
‫مفهومين هما‪ :‬نظام استخراج األسئلة آليا (‪ )Question Extraction‬ونظام اإلجابة آليا (‪ .)Question Answering‬فاألولى تهتم باستخراج السؤال من النص‪,‬‬
‫ً‬ ‫ً‬
‫بينما تهتم الثانية تهتم بإيجاد النص الذي يعد جوابا على السؤال‪ .‬وتعتبر مسألة استخراج األسئلة رديفة ملسألة اإلجابة آليا على األسئلة‪ ,‬فكالهما يتطلب‬
‫ً‬ ‫ً‬
‫مستوى عميقا من فهم النص املدخل )‪ . (Pan, Lei, Chua, & Kan, 2019‬عادة يكون نوع السؤال الذي يستخرجه النظام آليا من أحد األنواع التالية‪ .1 -:‬أسئلة‬
‫ً‬ ‫تعتمد على الذاكرة ّ‬
‫(عرف‪ ,‬صف‪ ,‬أذكر مثاال‪ .2 )..‬أسئلة (ما‪ ,‬أين‪ ,‬ملاذا‪ ,‬متى‪ ,‬من) ‪ .3‬أسئلة ملئ الفراغ واألسئلة متعددة الخيارات ‪(Soni, Kumar, & Saha,‬‬
‫)‪.2019‬‬

‫هرمية بلوم ‪(Bloom, Krathwohl, & Masia, 1984) Blooms taxonomy‬‬

‫ً‬ ‫ً‬
‫يعتبر هرم بلوم مرجعا لتصنيف األهداف التعليمية وكذلك أنواع األسئلة‪ ,‬وهو مقسم إلى ‪ 6‬مستويات تتدرج من األبسط إلى األكثر تعقيدا & ‪(Soni, Kumar,‬‬
‫)‪ Saha, 2019‬كما يلي‪:‬‬
‫ّ‬ ‫ّ‬
‫‪ .1‬التذكر‪ :‬عرف‪ ,‬عدد‪..‬‬
‫ّ‬
‫‪ .2‬الفهم‪ :‬اشرح‪ ,‬لخص‪ ,‬قارن‪ ,‬صنف‪.‬‬
‫‪ .3‬التطبيق‪ :‬استخدم‪ ,‬نفذ‪ ,‬أنجز‪ ,‬استعرض‪.‬‬
‫ّ‬
‫‪ .4‬التحليل‪ :‬استكشف‪ ,‬اختبر‪ ,‬حلل‪.‬‬
‫‪ .5‬التقييم‪ :‬ماذا تتوقع‪/‬برأيك‪ ,‬كيف تحكم‪/‬ترى‪.‬‬
‫طور‪ ,‬اخترع‪ ,‬أنش ئ‪ ,‬ادمج‪..‬‬ ‫صمم‪ّ ,‬‬
‫‪ .6‬التأليف واالستنتاج‪ّ :‬‬

‫‪2‬‬
 ‫شكل‪.1‬هرمية بلوم‪Blooms taxonomy1‬‬

‫وبالتالي يمكن وصف نظام استخراج األسئلة باستخدام هرمية بلوم بحسب نوع ومستوى األسئلة التي يقوم النظام بطرحها‪ .‬ويهدف البحث في هذا املجال إلى‬
‫ً‬
‫الحصول على نظام استخراج أسئلة يحاكي الذكاء البشري (يستهدف مستويات عليا من هرمية بلوم) )‪ .(Desai, Dakle, & Moldovan, 2018‬حاليا يتم توليد‬
‫ً‬ ‫ً‬
‫أسئلة عميقة باستخدام القوالب ‪ Templates‬املطورة يدويا )‪ (Pan, Lei, Chua, & Kan, 2019‬وسيأتي الحديث عنها الحقا‪.‬‬

‫استخراج األسئلة من النصوص‬

‫ً‬
‫يوجد العديد من األنواع املختلفة ألنظمة استخراج األسئلة‪ ,‬فعلى سبيل املثال قد ُيطلب استخراج سؤال يكون جوابه محدد مسبقا‪ ,‬أو ُيترك للنظام حرية‬
‫استخراج األسئلة املناسبة وعلى النظام أن يستخرج مع كل سؤال الجواب املوافق له ويطلق على هذا النوع من األنظمة (‪ .)Answer-unaware system‬وبالطبع‬
‫ً‬ ‫ً‬
‫فإن التحديات في مسألة وضع السؤال مع تحديد الجواب مسبقا تعتبر أكبر وأصعب من الحالة التي ُيترك النظام يختار جوابا للسؤال الذي يقوم باستخراجه‪.‬‬

‫المنهجية العامة لتطوير أنظمة استخراج األسئلة من النصوص‬

‫فيما يلي أشهر املراحل التي يتكون منها نظام استخراج األسئلة التقليدي (شكل‪:)2‬‬

‫ُ َ‬
‫معالجة أولية للنص املدخل (‪:)Preprocessing‬‬ ‫‪.1‬‬
‫‪ .a‬التقطيع (‪ ,)Tokenization‬التجزئة (‪ ,)Segmentation‬فحص األخطاء اإلمالئية (‪ ,)Error checking‬وسم الكلمات ( ‪Part-Of-speech‬‬
‫‪ ,)tagging‬رد الضمائر إلى مسمياتها (‪ ,)Co-Reference Resolution‬تمييز الكيانات االسمية (‪ ,)Named-Entity Recognition‬استخراج‬
‫العالقات (‪ ,)Relation Extraction‬إلخ‪..‬‬
‫‪ .b‬اختيار الجملة (‪ :)Sentence Selection‬في هذه املرحلة يتم تحديد املعلومة التي سيتمحور حولها السؤال‪ ,‬إذ ليست كل جملة في النص‬
‫يمكن وضع سؤال يخصها )‪ (Ch & Saha, 2018‬ويتم ذلك من خالل‪:‬‬
‫ً‬
‫‪ .i‬استخدام القوالب ‪ :Templates‬فإذا تطابقت جملة من النص مع قالب مبني مسبقا فيتم اختيارها‬
‫‪ .ii‬استخدام خوارزميات تعلم اآللة (مثل ‪)SVM, NN, Bayes‬‬
‫‪ .iii‬استخدام تقنيات تلخيص النصوص (‪ :)Text summarization‬وفيه يقوم نظام تلخيص النصوص بمهمة الغاء النصوص‬
‫يقدمها نظام تلخيص النصوص‬‫بناء على العبا ات التي ّ‬
‫الغير مهمة واإلبقاء على العبارات املهمة وبالتالي يمكن وضع األسئلة ً‬
‫ر‬
‫)‪(Pan, Lei, Chua, & Kan, 2019‬‬
‫‪ .c‬تبسيط الجملة (‪ :)Sentence Simplification‬في هذه املرحلة يتم تحويل الجملة الطويلة أو املعقدة التي قد تحتوي على إشارات تدل‬
‫الطالب على أجابة السؤال الصحيحة إلى مجموعة من الجمل الببسيطة )‪ .(Ch & Saha, 2018‬وتستخدم لذلك تقنيات مثل‪:‬‬
‫‪ .i‬تحليل العالقات باستخدام األشجار النحوية (‪)Parse-Trees dependencies‬‬
‫‪ .ii‬قواعد يضعها الخبراء لتبسيط الجمل (‪)sentence simplification rules‬‬

‫‪1 https://technologyforlearners.com/wp-content/uploads/2019/07/Blooms.jpeg‬‬

‫‪3‬‬
 ‫‪ .d‬تصنيف الجملة‪ :‬يتم تصنيف الجملة إلى صنف ‪ Class‬معين تترتب عليه نوعية السؤال الذي سيتم طرحه‬
‫‪ .e‬اختيار املفتاح (‪ :)Key Selection‬هنا يتم اختيار كلمة من الجملة التي تم اختيارها‪ .‬هذه الكلمة املفتاحية سيتمحور حولها السؤال‪,‬‬
‫بناء عليها‪ .‬ويتم ذلك باستخدام تقنيات مثل‬‫فليست كل الكلمات في الجملة قابلة لطرح األسئلة ً‬
‫ّ‬
‫‪ .i‬تعلم اآللة ‪.Machine learning‬‬
‫‪ .ii‬معلومات داللية ‪Semantic Information‬‬
‫‪ .iii‬بعض األبحاث اعتبرت مسألة اختيار الكلمة املفتاحية مسألة بحثية مستقلة بحد ذاتها )‪.(Pan, Lei, Chua, & Kan, 2019‬‬
‫تكوين السؤال‪ :2‬وفيه‬ ‫‪.2‬‬
‫‪ .a‬اختيار اإلجابة الصحيحة‬
‫‪ .b‬اختيار اإلجابات الخاطئة (‪.)Distractors‬‬
‫‪3‬‬

‫‪ .c‬تحضير شرح يفسر اإلجابة الصحيحة (‪)Feedback‬‬

‫‪ .i‬بعض الدراسات تركز على هذه املسألة (شرح ملاذا اإلجابة الخاطئة خاطئة وملاذا اإلجابة الصحيحة صحيحة ‪(Kurdi,‬‬
‫)‪(Leo, et al., 2019) Leo, Parsia, Sattler, & Al-Emari, 2019‬‬
‫‪ .ii‬التحكم بالصعوبة‬
‫معالجة الخرج (‪ :)Post processing‬بهدف تحسين شكل السؤال‪.‬‬ ‫‪.3‬‬
‫‪ .a‬ترتيب األسئلة (‪ )Question Ranking‬بحسب معايير مثل صعوبتها‪ ,‬ترتيب األفكار‪ ,‬الخ‪..‬‬
‫ً‬
‫‪ .b‬الفحص القواعدي‪ :‬التأكد من أن شكل السؤال النهائي صحيح قواعديا ويمكن قراءة السؤال بانسيابية وطالقة (جعل السؤال وكأنه‬
‫مطروح من قبل البشر)‪:‬‬
‫‪ .i‬استبدال الضمائر‪ ,‬استخدام أفعال مساعدة مناسبة‪..‬‬
‫‪ .ii‬عدم وجود متانة نحوية بين السؤال والخيارات الخاطئة يمكن أن يدل الطالب على الخيار الصحيح دون عناء‬
‫‪ .iii‬عدم وجود متانة نحوية بين السؤال واإلجابة الصحيحة قد يشكل على الطالب فال تبدو اإلجابة الصحيحة صحيحة‬
‫بالنسبة له‪.‬‬

‫شكل ‪. .2‬املخطط العام ألنظمة استخراج األسئلة من النصوص )‪(Ch & Saha, 2018‬‬

‫‪ 2‬البعض يتجاوز هذه الخطوة ويستبدل املفاتيح بفراغات مباشرة)‪(Ch & Saha, 2018‬‬
‫‪ 3‬حالة األسئلة متعددة الخيارات‪.‬‬

‫‪4‬‬
 ‫شكل ‪.3‬تبسيط الجملة‪ ,‬حذف اإلشارات التي قد تدل على الجواب‪.‬‬

‫توجد ثالث منهجيات رئيسية لتحويل العبارة إلى سؤال )‪.(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬‬
‫‪ .1‬املنهجية املعتمدة على القواعد‪:‬‬
‫ً‬
‫‪ .a‬إذا كان املفتاح تاريخا (‪ )Key = Date‬بالتالي فإن السؤال هو متى (‪.(Ch & Saha, 2018) )When‬‬
‫‪ .b‬من خالل معالجة شجرة القواعد (شكل ‪(Soni, Kumar, & Saha, 2019) .)4‬‬
‫‪ .c‬من خالل معالجة داللية (شكل ‪.)5‬‬
‫ً‬
‫‪ .d‬من خالل دمج املنهجية النحوية مع قوالب معدة مسبقا ‪(Soni, Kumar, & Saha, 2019) Templates‬‬
‫‪ .2‬املنهجية املعتمدة على القوالب ‪:Template Approach‬‬
‫‪ .a‬استخدام قوالب تتألف من نصوص ثابتة وبعض الفراغات التي يتم ملؤها من كلمات النص املدخل‬
‫ً‬
‫‪ .b‬تسمح هذه املنهجية بتوليد أسئلة أكثر عمقا من املنهجية القواعدية السابقة‬
‫‪ .c‬عدد األسئلة محدود بسبب محدودية عدد القوالب‬
‫‪ .d‬ال يوجد تنوع في األسئلة التي ينتجها النظام املعتمد على القوالب‬
‫ً‬ ‫ً‬
‫‪ .e‬إلى اآلن ال تزال الكثير من األنظمة واألبحاث تعتمد على هذه املنهجية خاصة فيما يتعلق باستخراج أسئلة تستهدف مجاال محددا (طبي‪,‬‬
‫سياس ي‪(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019) ).. ,‬‬
‫‪ .3‬املنهجية املعتمدة على النماذج اإلحصائية‪:)Neural Question Extraction( 4‬‬
‫‪ .a‬يتم تحويل النص املدخل إلى سؤال باالعتماد على داتا تدريب كبيرة‪.‬‬
‫‪ .b‬تختلف هذه املنهجية عن املنهجيات السابقة بأنها ال تتطلب معالجة يدوية لوضع القواعد أو القوالب‪.‬‬
‫ً‬ ‫ً‬
‫‪ .c‬تختلف هذه املنهجية أيضا عن املنهجيات السابقة بأنها تقوم بنمذجة النص املدخل (تفهمه) رياضيا‪.‬‬
‫‪ .d‬تكمن صعوبة هذه املنهجية بأنها تحتاج كميات كبيرة من أزواج األسئلة واإلجابات ليتم تدريب النموذج اإلحصائي‬

‫شكل ‪.4‬استخراج األسئلة باستخدام أشجار النحو)‪(Ren, Kiros, & Zemel, 2015‬‬

‫تستخدم املنهجيات التقليدية مفسرات ‪ Parsers‬داللية ونحوية للحصول على تمثيل وسيط للنص املدخل (‪)intermediate symbolic representations‬‬
‫ومن ّثم تقوم بتحويل هذا التمثيل الوسيط إلى سؤال من خالل استخدام قواعد معينة (مثل إعادة هيكلة الشجرة النحوية أو استخدام قوالب األسئلة)‪.‬‬

‫‪ 4‬سنتكلم عنها في فقرة خاصة‪.‬‬

‫‪5‬‬
 ‫شكل‪.5‬استخراج أسئلة صعبة وعميقة يتطلب املزيد من املعالجة‪(Heilman, 2011).‬‬

‫استخراج األسئلة متعددة الخيارات باستخدام األنطولوجيات ‪Ontologies‬‬

‫تستخدم منهجيات استخراج األسئلة من خالل القواعد النحوية بكثرة عندما يتعلق األمر باألسئلة متعددة الخيارات )‪ .(Ch & Saha, 2018‬ويعتبر توليد‬
‫الخيارات الخاطئة (‪ )Distractor Generation‬من أصعب التحديات التي تواجه أنظمة استخراج األسئلة متعددة الخيارات‪ ,‬وتركز بعض الدراسات فقط على‬
‫مواضيع خاصة في هذا النوع من األسئلة مثل استخراج الخيارات الخاطئة أو استخراج نص السؤال فقط )‪(Kurdi, Leo, Parsia, Sattler, (Ch & Saha, 2018‬‬
‫)‪ .& Al-Emari, 2019‬تستخدم األنطولوجيات بغرض استخراج الخيارات الخاطئة في األنظمة الخاصة باملجال (مجال طبي‪ ،‬سياس ي‪ ،‬الخ‪ )..‬ففي ‪(Leo, et al.,‬‬
‫)‪ 2019‬تم استخدام أنطولوجي طبية لتوليد أسئلة متعددة الخيارات لالمتحانات الطبية‪ .‬فعلى سبيل املثال يمكن استخدام أنطولوجي ‪ WordNet‬مع مقياس‬
‫تشابه بين املفاهيم بهدف اختيار مفاهيم قريبة من املفهوم الذي يدور حوله السؤال واستخدام هذه املفاهيم في تأليف الخيارات الخاطئة للسؤال‪.‬‬

‫شكل ‪ .6‬بنية السؤال متعدد الخيارات‪.‬‬

‫استخراج األسئلة باستخدام نماذج إحصائية ‪Neural QG‬‬

‫ً ً‬
‫حققت تقنيات املعتمدة على الشبكات العصبية (اإلحصائية‪ ,‬مثل نماذج سلسلة دخل‪-‬سلسلة خرج ‪ )Sequence2Sequence5 models‬نجاحا كبيرا في مختلف‬
‫مسائل معالجة اللغات الطبيعية )‪ .(Soni, Kumar, & Saha, 2019‬وتم استخدام الشبكات العصبية في أبحاث استخراج األسئلة من النصوص والحصول على‬
‫أسئلة عميقة (تستهدف مستويات عالية في هرمية بلوم)‪ .(Pan, Lei, Chua, & Kan, 2019) .‬ويمكن تجزئة النظام إلى قسمين رئيسيين‪ :‬قسم اختيار املحتوى‬
‫(‪ )Content Selection‬وقسم صناعة السؤال (‪ ,)Question Construction‬ويسمى القسم املسؤول عن اختيار املحتوى باملرمز (‪ ,)Encoder‬أي أنه يحول الدخل‬
‫ً‬
‫‪ Input‬إلى صيغة رياضية (سلسلة أرقام) تعتبر ترميزا للسؤال املدخل‪ ,‬في حين يسمى القسم املسؤول عن صناعة السؤال بمفكك الترميز (‪ ,)Decoder‬أي أنه‬
‫يأخذ الصيغة ّ‬
‫املرمزة ويحولها إلى سؤال طبيعي‪.‬‬

‫‪ 5‬الربط من‪1‬إلى‪ .1‬مثل مسألة الترجمة اآللية والتلخيص اآللي‪.‬‬

‫‪6‬‬
 ‫ّ‬
‫ويتم دمج هذين القسمين في عنصر واحد في أنظمة التعلم العميق ‪ (Pan, Lei, Chua, & Kan, 2019) DeepLearning‬فتم الحصول على أنظمة استخراج‬
‫ً‬ ‫أسئلة ّ‬
‫تفوقت كثيرا على األنظمة التي كانت حاضرة بفوارق كبيرة )‪.(Chen, Wu, & Zaki, 2019‬‬

‫بالنسبة للتوصيف الرياض ي للمسألة بشكل عام فإن الجملة املدخلة هي عبارة عن سلسلة كلمات )‪ X = (x1, · · ·, xn‬باإلضافة إلى هدف ‪( A‬جواب ُيطلب أن‬
‫ً‬
‫يوضع سؤال خاص به في نظام‪ ,)Answer Aware 6‬ويطلب من النظام استخراج سلسلة كلمات )‪ Y = (y1, · · ·, ym‬تعتبر سؤاال للهدف ‪ ,A‬أي‪ :‬إيجاد أفضل‬
‫ً‬ ‫ً‬
‫سلسلة ‪ Y‬بحيث نحصل على أعلى قيمة احتمالية (بحسب النموذج االحتمالي املعتمد ‪ )P‬علما أن ‪X‬و‪ A‬موجودة مسبقا‪.‬‬

‫تتخلف نماذج استخراج األسئلة من خالل )‪:(Pan, Lei, Chua, & Kan, 2019‬‬
‫ً ً‬
‫‪ .1‬معامالت ‪ factors‬خاصة مثل( طريقة ترميز الجواب‪ ,‬طريقة اختيار السؤال‪ ,‬إمكانية معالجة السياق في حال كان الدخل نصا كبيرا ( ‪Paragraph‬‬
‫‪.)level7‬‬
‫ّ‬
‫‪ .2‬آلية صناعة السؤال (آلية ناسخة ‪ ,Copying mechanism8‬سمات لغوية‪ ,‬التعلم املعزز ‪)Reinforcement learning‬‬

‫مجموعات البيانات ‪Datasets‬‬

‫يمكن استخدام أي مجموعة بيانات ‪ Dataset‬خاصة بأنظمة اإلجابة اآللية ‪ Question Answering‬لتدريب وتطوير أنظمة استخراج األسئلة ‪Question‬‬
‫ً‬
‫‪ .(Pan, Lei, Chua, & Kan, 2019) Extraction‬وقد تم حديثا تطوير مجموعات بيانات خاصة بمسألة استخراج األسئلة‪ .‬وفيما يلي نشير إلى أهم مجموعات‬
‫البيانات الخاصة بأنظمة استخراج األسئلة التي تم تطويرها في السنوات الثالث السابقة‪:‬‬

‫تعليقات‬ ‫مجموعة البيانات‬ ‫ّ‬

‫املعرف‬
‫مجموعة أسئلة وأجوبة عميقة‪ ,‬تتميز بأنها مفتوحة املصدر‪ ,‬وتتألف من حوالي ‪ 230k‬زوج‬ ‫‪LearningQ (Chen, Yang, Hauff, & Houben,‬‬
‫‪9‬‬
‫‪1‬‬
‫من املستندات التعليمية واألسئلة الخاصة بها‪ّ ,‬تم جمعها من منصة ‪ TED-Ed‬و أكاديمية‬ ‫)‪2018‬‬
‫ً‬
‫خان ‪ .Khan Academy‬يتطلب تأليف أكثر من ‪ 30%‬من األسئلة مستو َى عاليا من الفهم‬
‫البشري للنص املوجود في املستند بخالف الكثير من مجموعات البيانات التي تستهدف‬
‫مستويات منخفضة من اإلدراك مثل التذكر (‪.)Remembering‬‬
‫تم جمع حوالي ‪ 28000‬نص و‪ 100000‬سؤال متعلقة بهذه النصوص من الكتب‬ ‫)‪RACE (Lai, Xie, Liu, Yang, & Hovy, 2017‬‬ ‫‪2‬‬
‫التعليمية التي وضعها خبراء اللغة والتي تستخدم لتدريس الطالب الصينيين من أعمار‬
‫ً‬
‫متوسطة اللغة اإلنكليزية‪ ,‬وتعتبر هذه املجموعة من أكثر مجموعات البيانات تحديا‬
‫ً‬
‫ألنظمة استخراج األسئلة آليا‪ ,‬حيث أنه يوجد فرق يقدر بحوالي ‪ 40%‬بين األسئلة‬
‫املوجودة في املجموعة واألسئلة التي يقوم بتوليدها أفضل نظام استخراج أسئلة موجود‬
‫ً‬
‫حاليا‪.‬‬
‫تم وضع مجموعة بيانات خاصة بمسابقة تطوير أنظمة استخراج األسئلة من النصوص‬ ‫‪Question generation shared task challenge‬‬ ‫‪3‬‬
‫ً‬
‫آليا‪.‬‬ ‫)‪(QGSTEC) dataset (Rus, et al., 2010‬‬

‫راجع فقرة "استخراج األسئلة من النصوص"‬ ‫‪6‬‬

‫‪ 7‬بعض األعمال السابقة حاولت حل هذه املسألة من خالل بناء نماذج داللية عميقة لتمثيل كامل النص)‪(Pan, Lei, Chua, & Kan, 2019‬‬
‫‪ 8‬بعض أجزاء الخرج تتشابه مع بعض أجاء الدخل كما في مسألة التلخيص اآللي للنصوص‪ .‬ومن هذه اآللية الناسخة يمكن أن تتواجد إشارات تدل الشخص الذي نقوم بطرح‬
‫السؤال عليه على الجواب الصحيح‪ .‬وبالتالي على النظام أن يتعلم عدم اقحام مثل هذه الكلمات في جسم السؤال املستخرج‪.‬‬
‫‪ 9‬مجموعة البيانات والسورس كود على الرابط التالي ‪https://github.com/AngusGLChen/LearningQ‬‬

‫‪7‬‬
 ‫ُ‬
‫وط َ‬
‫لب من املشاركين تطوير أنظمة تستخرج األسئلة من الجمل املفردة ( ‪individual‬‬
‫‪ )sentences‬وأنظمة تستخرج األسئلة من فقرات كاملة (‪.)Paragraphs‬‬
‫تتألف مجموعة البيانات هذه من ‪ 7.1K‬سؤال متعدد الخيارات تم جمعها من االنترنت‬ ‫)‪MCQL (Pho, et al., 2014‬‬ ‫‪4‬‬
‫ً‬
‫ولكل سؤال حوالي ‪ 3‬خيارات وسطيا‪ .‬تتنوع مجاالت األسئلة بين الفيزياء والكيمياء وعلم‬
‫األحياء وهي موجهة باألساس لطالب كامبريدج ‪ Cambridge‬في املستوى ‪.O-level‬‬
‫تعتبر من أشهر مجموعات البيانات وقد تم تجميعها من مقاالت ويكيبيديا ‪Wikipedia‬‬ ‫‪Stanford Question Answering Dataset‬‬ ‫‪5‬‬
‫وفيها حوالي ‪ 150K‬سؤال‪ ,‬أكثر من ثلثي األسئلة وضعت على مستوى الفقرات‬ ‫& ‪(SQuAD) (Rajpurkar, Zhang, Lopyrev,‬‬
‫الجمل ‪ ,Sentences‬و نصف هذه األسئلة ال توجد أجوبتها في املقال‬ ‫‪ Paragraphs‬وليس ُ‬ ‫)‪Liang, 2016‬‬
‫األصلية‪ %20 .‬من األسئلة تحتاج إلى تحليل على مستوى الفقرات‪(Pan, Lei, Chua, & ,‬‬
‫)‪ Kan, 2019‬وتستخدم معظم املجموعات البحثية مجموعة البيانات هذه كمجموعة‬
‫معيارية لقياس أداء نظام استخراج األسئلة املطور )‪(Pan, Lei, Chua, & Kan, 2019‬‬
‫ً‬
‫مجموعة بيانات شبيهة بمجموعة ‪ SQuAD‬لكن األسئلة فيها أقل عمقا‪.‬‬ ‫)‪MS MARCO (Nguyen, et al., 2016‬‬ ‫‪6‬‬
‫تحتوي على ‪ 30‬مليون سؤال باللغة اإلنكليزية مع جواب كل سؤال‪.‬‬ ‫‪30M factoid question-answer corpus‬‬ ‫‪7‬‬
‫)‪(Serban, et al., 2016‬‬
‫تحتوي على ‪ 13.7K‬سؤال في علم األحياء والكيمياء واألرض والفيزياء ّ‬
‫تتدرج في صعوبتها من‬ ‫)‪SciQ15 (Welbl, Liu, & Gardner, 2017‬‬ ‫‪8‬‬
‫املستوى املبتدئ إلى الخبير‪ .‬وهي مجموعة بيانات مدفوعة ثمنها ‪.$10.415‬‬
‫تتألف من ‪ 120k‬زوج سؤال‪-‬جواب تخص مقاالت مجلة ‪ .CNN‬األسئلة من نوع ‪( WH‬ملاذا‪,‬‬ ‫)‪NewsQA (Trischler, et al., 2016‬‬ ‫‪9‬‬
‫متى‪ ,‬أين‪ ,‬كيف‪ ,‬من)‪.‬‬
‫ً‬
‫جدول‪ . 1‬أشهر مجموعات البيانات املستخدمة في تطوير أنظمة استخراج األسئلة آليا‪.‬‬

‫معايير التقييم‬
‫‪10‬‬

‫ً‬ ‫ً‬
‫يعتبر التقييم اليدوي من أكثر معايير التقييم شيوعا‪ ,‬وفيه يتم اختيار عينات عشوائية من األسئلة التي قام نظام استخراج األسئلة آليا بتأليفها ومنح هذه‬
‫األسئلة إلى خبير ُيطلب منه تقييم كل سؤال ومنحه عالمة على مقياس من ‪ (Pan, Lei, Chua, & Kan, 2019) 5-1‬تحتاج هذه الطريقة إلى تخصيص وقت طويل‬
‫ومال كثير‪ .‬ولذلك يلجأ الباحثون إلى معايير تقييم آلية تشبه املعايير املوضوعة في مسائل تلخيص النصوص ‪( Text Summarization‬معيار روج ‪)ROUGE‬‬
‫ً‬ ‫ً‬
‫وترجمة النصوص ‪( Text Translation‬معيار بلو ‪ )BLEU‬وهي معايير تقوم بمقارنة نصوص بشرية موجودة مسبقا (األسئلة املوجودة مسبقا) بنصوص تم‬
‫استخراجها عن طريق نظام آلي (نظام الترجمة اآللية أو نظام التلخيص اآللي)‪ .‬وبعض الدراسات تستخدم نماذج تقييم خاصة بها تقيس صحة القواعد وطالقة‬
‫ً‬
‫العبارة ومدى صلة السؤال بالنص األصلي وكون السؤال غير قابال للتمييز بأنه تم توليده عن طريق اآللة أو البشر‪ ,‬وكذلك يتم قياس التداخل بين كلمات‬
‫السؤال املستخرج عن طريق اآللة والسؤال الذي يضعه الخبير‪ .‬ويمكننا بحسب )‪ (Heilman, 2011‬تعريف عالقة قياس مقبولية السؤال ‪ x‬املستخرج‬

‫ّ‬
‫حيث ‪ F‬تابع يأخذ السؤال ‪ x‬ويعيد شعاع عددي يمثل امليزات ‪ features‬املوجودة في السؤال‪ ,‬و ‪ w‬هو شعاع أوزان لتثقيل كل قيمة من قيم املميزات (فليست كل‬
‫ً‬
‫املميزات ‪ features‬لها نفس االعتبار)‪ .‬وبحسب )‪ (Ch & Saha, 2018‬فإنه ال توجد طريقة تقييم معيارية ملسألة استخراج األسئلة آليا‪ .‬ولذك يجب العمل على‬
‫تطوير معايير تقييم وتحسينها )‪.(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬‬

‫‪ 10‬توجد دراسة من نوع ‪ Survey‬ملعايير التقييم املستخدمة بين عامي ‪ 2013‬و‪ 2018‬في )‪(Amidei, Piwek, & Willis, 2018‬‬

‫‪8‬‬
 ‫التحديات‬
‫ً‬
‫آليا على ّ‬
‫عدة تحديات تخص معالجة اللغة الطبيعية ‪( NLP‬مثل أخطاء املفسرات ‪ )Parsers‬وتحديات تخص‬ ‫تنطوي مسألة استخراج األسئلة من النصوص‬
‫ي‬
‫فهم اللغة الطبيعية ‪ .NLU‬وباإلضافة إلى ذلك فإن مسألة استخراج األسئلة من النصوص تنضو على تحديات تخص توليد اللغة الطبيعية ‪(Pan, Lei, NLG‬‬
‫)‪.Chua, & Kan, 2019‬‬

‫وفيما يخص مسألة استخراج األسئلة بحد ذاتها فإن أشهر التحديات هي‪ )1 :‬وضع الخيارات الخاطئة في أسئلة االختيار من متعدد ‪)2 distractor generation‬‬
‫ّ‬
‫عدم وجود تقنيات تقييم معيارية ‪ )3‬عدم وجود مجموعة بيانات معيارية (بالنسبة لنماذج تعلم اآللة) ‪ )4‬فهم السياق ‪ )5 discourse‬ومن الصعوبات الخاصة‬
‫ً‬
‫هي عندما تكون اإلجابة معطاة من ضمن الدخل ‪ input‬فمن املحتمل حصول عدم تطابق بين السؤال املستخرج والجواب املطلوب وضع سؤال عليه (مثال‬
‫عندما ُيطلب وضع سؤال عن فترة زمنية ‪ when‬فيقوم النظام بوضع سؤال عن مكان ‪ )6 .(Pan, Lei, Chua, & Kan, 2019) )where‬عدم القدرة على التحكم‬
‫بصعوبة السؤال لكون السؤال املستخرج قد ال يرقى ملستوى الصعوبة املطلوبة )‪ .(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬ومن األبحاث التي درست‬
‫التحكم بالصعوبة هي )‪.(Gao, Bing, Chen, Lyu, & King, 2018‬‬
‫مالحظة‪ :‬مسألة استخراج االمتحان ‪ Exam Generation‬تعتبر مسألة مختلفة يجب أن تأخذ بعين االعتبار عدة أمور إضافية مثل‪ )1 :‬وضع أسئلة بحيث تقوم‬
‫بتغطية املادة التعليمية (النص) بشكل كامل ‪ )2‬أال يتداخل السؤال مع غيره من األسئلة ‪ )3‬أن ال يحتوي السؤال على إجابة سؤال آخر‪ .‬وبشكل عام يحتاج‬
‫العمل على توليد االختبارات الى تحليل أكثر لالختبارات الحقيقية وتوصيفها بشكل جيد )‪.(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬‬

‫دراسة مرجعية ‪Literature review‬‬

‫ً‬ ‫ً‬ ‫ً‬ ‫ً‬
‫يعتبر مجال البحث في تطوير أنظمة استخراج األسئلة آليا مجاال نشطا )‪ .(Ch & Saha, 2018‬وفي (جدول‪ )1‬أمثلة ألشهر األبحاث في هذا املجال‪ .‬ونشير أيضا إلى‬
‫بعض الدراسات من نوع ‪ Surveys‬وهي‪:‬‬
‫‪ (Alsubait, Parsia, & Sattler, 2016) -‬وشمل ‪ 81‬ورقة بحثية‬
‫‪ (Ch & Saha, 2018) -‬وشمل ‪ 86‬ورقة بحثية‬
‫‪ (Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019) -‬وشمل ‪ 93‬ورقة بحثية نشرت بين ‪ 2015‬و‪.2019‬‬
‫مالحظات‪:‬‬
‫توجد ‪ 3422‬ورقة مؤتمر‪ 2222 ,‬ورقة مجلة علمية‪ 2213 ,‬ورقة ورشات عمل )‪(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬‬ ‫‪‬‬
‫ً‬
‫يوجد ‪ 358‬باحثا في هذا املجال (صورة ‪ )12‬يعملون في ‪ 13‬مجموعة عمل نشطة‪.‬‬ ‫‪‬‬
‫فيما يخص ال‪ state-of-the-art‬فإن العمل الذي قام به فريق مايكروسوفت ‪ (Zhao, Ni, Ding, & Ke, 2018) Microsoft‬هو‬ ‫‪‬‬
‫األفضل بحسب )‪(Pan, Lei, Chua, & Kan, 2019‬‬

‫مالحظات‬ ‫الداتا‬ ‫املنهجية‬ ‫عنوان البحث‬ ‫البحث‬ ‫املعرف‬

‫ً‬
‫اهتم هذا البحث‬ ‫أنطولوجي‬ ‫قوالب‪Templates‬‬ ‫استخراج األسئلة آليا بهدف‬ ‫‪(Wang, Hao, & Liu,‬‬ ‫‪1‬‬
‫بالكيانات ‪ Entities‬من‬ ‫امتحان األدوية‪.‬‬ ‫)‪2007‬‬
‫نوع ‪<Disease>,‬‬
‫‪<Medicine>,‬‬
‫‪<Cause>, <Therapy>,‬‬
‫‪<Symptom> and‬‬
‫>‪ <Device‬فقط‪.‬‬
‫أنطولوجي‪Ontology‬‬ ‫القوالب‬ ‫استخراج أسئلة متعددة الخيارات‪:‬‬ ‫‪(Lopetegui, Lara,‬‬ ‫‪3‬‬
‫‪Template‬‬ ‫بديل يستخدم املكنز لغرض تعليم‬ ‫& ‪Yen, Çatalyürek,‬‬
‫مادة الكيمياء الدوائية‪.‬‬ ‫)‪Payne, 2015‬‬

‫‪9‬‬
 A novel multiple choice
question generation strategy:
alternative uses for controlled
vocabulary thesauri in
biomedical-sciences education
‫الرماز متاح (الكود‬ Text ‫النصوص‬ ‫التعلم العميق‬ ‫نموذج مشترك لطرح األسئلة‬ (Wang, Yuan, & 4
)‫مفتوح املصدر‬ Deep learning ‫واإلجابة على األسئلة‬ Trischler, 2017)
A joint model for question
answering and question
generation
ً
Multiple choice DBpedia Rule- ‫قواعد‬ ‫توليد أسئلة االختبار آليا‬ (Bongir, Attar, & 5
based Automated quiz generator Janardhanan, 2017)
Ontology ‫أنطولوجي‬ Template ‫قوالب‬ ‫استخراج األسئلة متعددة‬ (Leo, et al., 2019) 6
ً
‫الخيارات آليا باستخدام أنطولوجي‬
‫طبية‬
Ontology-based generation of
medical, multi-term MCQs
ً
State-of-the-art Text ‫النصوص‬ Deep ‫تعلم عميق‬ ‫استخراج األسئلة آليا على مستوى‬ (Zhao, Ni, Ding, & 7
learning ‫الفقرة باستخدام شبكة عصبية‬ Ke, 2018)
gated ‫ و‬max out pointer ‫بتقنية‬
.self-attention network
Paragraph-level neural
question generation with max
out pointer and gated self-
attention networks
ً
.‫ أشهر األبحاث املتعلقة باستخراج األسئلة آليا‬.2‫جدول‬

10
 ‫)‪Figure 1. Active research groups in AQG. Screenshot from (Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬‬

‫استخراج األسئلة آليا في اللغة العربية‬

‫ركزت معظم األبحاث على اللغة اإلنكليزية والصينية واليابانية )‪ .(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬وبعد بحث مطول وبحسب ما توصلنا إليه‬
‫فإن العمل الوحيد الذي تناول اللغة العربية هو )‪ 11.(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019‬وفيما يلي نلخص املنهجية املعتمدة في ذلك العمل‪:‬‬
‫‪ -‬األسئلة املستخرجة هي أسئلة امأل الفراغ‬
‫‪ -‬آلية عمل النظام قائمة على ما يلي‪:‬‬
‫تطبيق نظام تحديد الكيانات ‪NER‬على كل جملة‪.‬‬ ‫‪‬‬
‫ً‬
‫إذا وجدت كيانا من نوع زمان ‪:Date‬‬ ‫‪‬‬
‫‪ ‬يتم استبداله بفراغ‬
‫ً‬
‫إذا وجدت كيانا من نوع مكان ‪:Location‬‬ ‫‪‬‬
‫‪ ‬يتم استبداله بفراغ‬
‫‪ ‬وهكذا‪..‬‬
‫ال يوجد اختيار من متعدد!‬ ‫‪-‬‬
‫وبالتالي فإن هذه املنهجية املجتزئة ال تمثل أي منهجية من منهجيات استخراج األسئلة املعروفة‬ ‫‪‬‬

‫مناقشة‬
‫ُ‬
‫معظم األبحاث اهتمت باستخراج كل األسئلة املمكنة من النص وتترك مهمة اختيار األسئلة املناسبة للخبير الذي هو بصدد وضع أسئلة االمتحان ‪(Kurdi,‬‬
‫)‪ .Leo, Parsia, Sattler, & Al-Emari, 2019‬ويعتبر استخراج األسئلة من أجل مجال محدد هو التوجه الشائع للباحثين ‪(Kurdi, Leo, Parsia, Sattler, & Al-‬‬

‫‪ 11‬هذا البحث موجود على غوغل سكولر ‪ google scholar‬وال توجد أي إشارة مرجعية تشير عليه وباإلضافة لذلك لم يشر هذا البحث في قائمة املراجع املستخدمة فيه إلى أي‬
‫ً‬
‫بحث سابق عن استخراج األسئلة آليا في اللغة العربية‪.‬‬

‫‪11‬‬
 ‫ وال بد من اإلشارة إلى أن استخراج‬.‫ ويوجد توجه ال بأس به نحو تطوير أنظمة يمكن من خاللها التحكم بصعوبة السؤال الذي يتم استخراجه‬.Emari, 2019)
‫) وفرة أدوات‬2 ‫) وفرة الداتا بشكل عام عن اللغة‬1 :‫) لسببين‬.. ,‫ علوم‬,‫ برمجة‬,‫ تاريخ‬,‫األسئلة بشكل عام أسهل من استخراج األسئلة ملجال محدد (كيمياء‬
‫ وبالنسبة ملسألة استخراج األسئلة متعددة الخيارات فإن معظم الصعوبة تكمن في استخراج‬.‫ لفهم النص بشكل سطحي‬NLP ‫معالجة اللغة الطبيعية‬
.(Kurdi, Leo, Parsia, Sattler, & Al-Emari, 2019) Distractor Generation )‫الخيارات الخاطئة (املشتتة‬

ً
‫خالصة‬
‫ ويمكن من إغناء‬,‫ ويعتبر استخراج األسئلة من النصوص بشكل آلي مهما ألنه يوفر الوقت والجهد واملال‬,‫يعتبر وضع أسئلة االختبار عملية مجهدة ومكلفة‬
ً ً
‫ وفي هذا العمل قمنا‬.‫ وقد بدأ العمل على تطوير أنظمة استخراج األسئلة آليا منذ التسعينات وال يزال العمل في هذا املجال نشيطا إلى اآلن‬.‫العملية التعليمية‬
‫ باإلضافة إلى الحديث عن معايير التقييم‬,‫ وقمنا بشرح آلية عمل األنظمة الحالية بشكل عام‬,‫بإجراء دراسة مرجعية حول أشهر األبحاث املتعلقة بهذا املجال‬
.‫والتحديات املتعلقة بهذا البحث‬

‫المراجع‬
A. Bongir ،V. Attar ‫ و‬،R Janardhanan .)2017( .Automated quiz generator .)188-174 ‫ (الصفحات‬.Springer, Cham.
A. Trischler ،T. Wang ،X. Yuan ،J. Harris ،A. Sordoni ،P. Bachman ‫ و‬،K Suleman .)2016( .Newsqa: A machine comprehension dataset .arXiv
preprint arXiv:1611.09830.
Abeer Saad ،Elsaeed Abdelrazek ‫ و‬،MohamedElbasyouni .)2014( .BUILDING A SYSTEM BASED ON NATURAL LANGUAGES PROCESSING
TO AUTOMATIC QUESTION GENERATION FROM ARABIC TEXTS .International Journal of Current Research.
B. Liu ،M. Zhao ،D. Niu ،K. Lai ،Y. He ،H. Wei ‫ و‬،Y Xu .)2019( .Learning to Generate Questions by LearningWhat not to Generate .The World
Wide Web Conference.)1118-1106 ‫ (الصفحات‬،
B. N. Patro ‫ و‬،V. P Namboodiri .)2019( .Deep Exemplar Networks for VQA and VQG .arXiv preprint arXiv:1912.09551.
B. Patro ،V. Kurmi ،S. Kumar ‫ و‬،V Namboodiri .)2020( .Deep Bayesian Network for Visual Question Generation .The IEEE Winter
Conference on Applications of Computer Vision.)1576-1566 ‫ (الصفحات‬،
B. S. Bloom ،D. R. Krathwohl ‫ و‬،B. B Masia .)1984( .Bloom taxonomy of educational objectives .Allyn and Bacon. Pearson Education.
D. R. Ch ‫ و‬،S. K Saha .)2018( .Automatic multiple choice question generation from text: A survey .IEEE Transactions on Learning
Technologies.
G. Chen ،J. Yang ،C. Hauff ‫ و‬،G. J Houben .)2018( .LearningQ: a large-scale dataset for educational question generation .In Twelfth
International AAAI Conference on Web and Social Media .
G. Kurdi ،J. Leo ،B. Parsia ،U. Sattler ‫ و‬،S Al-Emari .)2019( .A Systematic Review of Automatic Question Generation for Educational
Purposes .International Journal of Artificial Intelligence in Education.84-1 ،
G. Lai ،Q. Xie ،H. Liu ،Y. Yang ‫ و‬،E Hovy .)2017( .Race: Large-scale reading comprehension dataset from examinations .arXiv preprint.
H. De Vries ،F. Strub ،S. Chandar ،O. Pietquin ،H. Larochelle ‫ و‬،A. Courville .)2017( .Guesswhat?! visual object discovery through multi-
modal dialogue .the IEEE Conference on Computer Vision and Pattern Recognition.)5512-5503 ‫ (الصفحات‬،
I. V. Serban ،A. García-Durán ،C. Gulcehre ،S. Ahn ،S. Chandar ،A. Courville ‫ و‬،Y Bengio .)2016( .Generating factoid questions with
recurrent neural networks: The 30m factoid question-answer corpus .arXiv preprint arXiv:1603.06807.
J. Amidei ،P. Piwek ‫ و‬،A Willis .)2018( .Evaluation methodologies in automatic question generation 2013-2018.
J. Leo ،G. Kurdi ،N. Matentzoglu ،B. Parsia ،U. Sattler ،S. Forge ‫ و‬،W Dowling .)2019( .Ontology-based generation of medical, multi-term
MCQs .International Journal of Artificial Intelligence in Education.188-145 ،
J. Welbl ،N. F. Liu ‫ و‬،M Gardner .)2017( .Crowdsourcing multiple choice science questions .arXiv preprint arXiv:1707.06209 .
J. Zhang ،Q. Wu ،C. Shen ،J. Zhang ،J. Lu ‫ و‬،A. V. D Hengel .)2017( .Asking the difficult questions: Goal-oriented visual question generation
via intermediate rewards .arXiv preprint arXiv:1711.07614.

12
K. Uehara ،A. Tejero-De-Pablos ،Y. Ushiku ‫ و‬،T Harada .)2018( .Visual question generation for class acquisition of unknown objects .the
European Conference on Computer Vision (ECCV).)496-481 ‫ (الصفحات‬،
L. Pan ،W. Lei ،T. S. Chua ‫ و‬،M. Y Kan .)2019( .Recent Advances in Neural Question Generation .arXiv:1905.08949.
M Heilman .)2011( .Automatic factual question generation from text .Language Technologies Institute School of Computer Science
Carnegie Mellon University.
M Ren ،R Kiros ‫ و‬،R. S. Zemel .)2015( .Exploring Models and Data for Image Question Answering .arXiv:1505.02074v4.
M. A. Lopetegui ،B. A. Lara ،P. Y. Yen ،Ü. V. Çatalyürek ‫ و‬،P. R Payne .)2015( .A novel multiple choice question generation strategy:
alternative uses for controlled vocabulary thesauri in biomedical-sciences education .AMIA Annual Symposium .)861 ‫(صفحة‬
American Medical Informatics Association.
N. Mostafazadeh ،I. Misra ،J. Devlin ،M. Mitchell ،X. He ‫ و‬،L Vanderwende .)2016( .Generating natural questions about an image .arXiv
preprint.
N. Mostafazadeh ،N. Chambers ،X. He ،D. Parikh ،D. Batra ،L. Vanderwende ‫ و‬،J Allen .)2016( .A corpus and evaluation framework for
deeper understanding of commonsense stories .arXiv preprint arXiv:1604.01696.
P. Rajpurkar ،J. Zhang ،K. Lopyrev ‫ و‬،P Liang .)2016( .Squad: 100,000+ questions for machine comprehension of text .arXiv preprint
arXiv:1606.05250.
R. Krishna ،M. Bernstein ‫ و‬،L Fei-Fei .)2019( .Information maximizing visual question generation .the IEEE Conference on Computer Vision
and Pattern Recognition.)2018-2008 ‫ (الصفحات‬،
S. Soni ،P. Kumar ‫ و‬،A Saha .)2019( .Automatic Question Generation: A Systematic Review .SSRN.
S. Zhang ،L. Qu ،S. You ،Z. Yang ‫ و‬،J Zhang .)2016( .Automatic generation of grounded visual questions .arXiv preprint.
T. Alsubait ،B. Parsia ‫ و‬،U Sattler .)2016( .Ontology-based multiple choice question generation .KI - Künstliche Intelligenz - Springer-183 ،
.188
T. Baghaee .)2017( .Automatic Neural Question Generation using Community-based Question Answering Systems .University of
Lethbridge.
T. Desai ،P. Dakle ‫ و‬،D Moldovan .)2018( .Generating Questions for Reading Comprehension using Coherence Relations .the 5th
Workshop on Natural Language Processing Techniques for Educational Applications.)10-1 ‫ (الصفحات‬،
T. Nguyen ،M. Rosenberg ،X. Song ،J. Gao ،S. Tiwary ،R. Majumder ‫ و‬،L Deng .)2016( .MS MARCO: a human-generated machine reading
comprehension dataset.
T. Wang ،X. Yuan ‫ و‬،A Trischler .)2017( .A joint model for question answering and question generation .arXiv preprint arXiv:1706.01450.
V Rus ،B Wyse ،P Piwek ،M Lintean ،S Stoyanchev ‫ و‬،C Moldovan .)2010( .The first question generation shared task evaluation challenge.
V. M. Pho ،T. André ،A. L. Ligozat ،B. Grau ،G. Illouz ‫ و‬،T François .)2014( .Multiple choice question corpus analysis for distractor
characterization.
W Thalheimer .)2003( .The learning benefits of questions .Tech. rep., Work Learning Research.
W. Wang ،T. Hao ‫ و‬،W Liu .)2007( .Automatic question generation for learning evaluation in medicine .International conference on web-
based learning .)251-242 ‫ (الصفحات‬Berlin, Heidelberg: Springer.
Y. Chen ،L. Wu ‫ و‬،M. J Zaki .)2019( .Reinforcement learning based graph-to-sequence model for natural question generation .arXiv preprint.
Y. Gao ،L. Bing ،W. Chen ،M. R. Lyu ‫ و‬،I King .)2018( .Difficulty controllable generation of reading comprehension questions .arXiv preprint.
Y. Li ،N. Duan ،B. Zhou ،X. Chu ،W. Ouyang ،X. Wang ‫ و‬،M Zhou .)2018( .Visual question generation as dual task of visual question
answering .the IEEE Conference on Computer Vision and Pattern Recognition.)6124-6116 ‫ (الصفحات‬،
Y. Zhao ،X. Ni ،Y. Ding ‫ و‬،Q Ke .)2018( .Paragraph-level neural question generation with maxout pointer and gated self-attention
networks .the 2018 Conference on Empirical Methods in Natural Language Processing.)3910-3901 ‫ (الصفحات‬،
Z. Fan ،Z. Wei ،S. Wang ،Y. Liu ‫ و‬،X. J Huang .)2018( .A reinforcement learning framework for natural question generation using bi-
discriminators .the 27th International Conference on Computational Linguistics.)1774-1763 ‫ (الصفحات‬،

13
 ‫ملحق‬
‫ً‬
‫التحدي املشترك ‪ Shared Task‬لتطوير أنظمة استخراج األسئلة آليا )‪ .(Rus, et al., 2010‬أقيم ألول مرة عام ‪ 2010‬ويتألف من مسألتين‪:‬‬
‫‪ .1‬وضع األسئلة على مستوى الفقرة )‪Question Generation from Paragraphs (QGP‬‬
‫‪ ‬على املشتركين وضع ‪ 6‬أسئلة متعلقة بفقرة نصية مدخلة ويجب أن تتنوع صعوبة األسئلة ما بين عام يتعلق بكامل النص (سؤال‬
‫واحد)‪ -‬وسط يتعلق ببعض الجمل في النص (سؤالين) –خاص (‪ 3‬أسئلة)‪.‬‬
‫وضع األسئلة على مستوى الجملة )‪Question Generation from Sentences (QGS‬‬ ‫‪.2‬‬
‫‪ ‬على املشتركين وضع سؤال مناسب لكل جملة معطاة (ومع كل جملة ُيعطى نوع السؤال املطلوب استخراجه (متى‪ ,‬أين‪ ,‬كيف‪)..‬‬
‫وكانت مصادر النصوص بشكل رئيس ي من ويكيبيديا ‪ Wikipedia‬و‪ OpenLearn‬و ‪.Yahoo!Answers‬‬

‫‪14‬‬