Statistical data management

and Monitoring its quality

DR. Abdallah Soliman Abdallah
CounselTrain Academy
https://counseltrain.com
 ‫مقدمة قياس الجودة باإلحصاءات الرسمية‬

‫المبدأ الخامس من المبادئ األساسية‬

‫تعد الجودة من أهم اركان اإلحصاءات‬
‫لإلحصاءات الرسمية الصادر من األمم‬
‫الرسمية‬
‫المتحدة‬

‫البيانات اإلحصائية يمكن أن يتم تجميعها من عدة‬

‫مصادر‪ ،‬سواء مسوح ميدانية أو من سجالت ادارية‬
‫وتقوم اجهزة العمل االحصائي باختيار المصدر‬
‫الذي يتوافق مع الجودة‪ ،‬الحداثة‪ ،‬الموائمة بين‬
‫التكلفة والعبء الواقع على المستجيبين‬
‫مقدمة أبعاد الجودة في إدارة البيانات الرسمية‬
‫الدقة‬
‫• وتعني أن البيانات المجمعة صحيحة‬

‫االكتمال‬
‫• وتعني مدى شمولية البيانات ‪ ،‬بمعنى هل جميع البيانات التي يريدها المستخدم متاحة‬

‫المصداقية‬
‫• في علم البيانات تعني المصداقية ان جميع أجزاء البيانات التتعارض مع بعضها‬

‫المالئمة‬
‫• ويقصد بالمالئمة وجود أسباب منطقية تم تجميع البيانات من أجلها‬

‫الحداثة‬
‫• ويقصد بها كيف يتم تحديث البيانات‪ ،‬فالبيانات غير المحدثة يمكن أن تؤدي لقرارات خاطئة‬
 ‫ طرق جمع البيانات‬:‫مقدمة‬

Direct Surveys
observation

Experiments

Previous
collected
databases

Data
 ‫مقدمه ‪ :‬علم البيانات‬
‫علم البيانات‬
‫يعد علم البيانات من أكثر العلوم سرعة في التطور وكذلك األكثر ارتباطا بالعديد من المجاالت‬
‫الطبيعية واالجتماعية بل وحتى الترفيهية‪.‬‬

‫منذ عشر سنوات‪ ،‬كان غالبية تحليل البيانات تتم عن طريق برامج التي تتعامل مع ‪structured‬‬
‫‪ data‬باالعتماد على توفير بيئة سلسة للمستخدم‪ ،‬مما يمكنه من إنجاز اكبر قدر ممكن من التحليلالت‬
‫االحصائية باقل مجهود‬
‫بعد ‪ ،2010‬بدا علم الذكاء الصناعي في التنامي‪ ،‬وبدأت بعض لغات البرمجة المجانية المنتمية لمجال‬
‫تكنولوجيا المعلومات في إضافة إمكانية عمل بعض التحليالت االحصائية البسيطة‬
‫لكن ظلت البرامج المتخصصة في التحليل االحصائي على قمة البرامج المستخدمة‪ ،‬ساعدها في ذلك‬
‫صعوبة التعامل مع البرامج المنتمية لقطاع تكنولوجيا المعلومات‬
‫من ‪ ،2015‬تمكنت لغات البرمجة من إضافة مكتبات تمكن المستخدم من إتمام أغلبية التقنيات‬
‫االحصائية مستفيدة من تطور الهاردوير‬
 ‫مقدمه ‪ :‬علم البيانات‬
‫نتج عن ذلك تراجع في اهمية البرامج االحصائية المتخصصة في مقابل لغات البرمجة والتي‬
‫وظفت تقنيات الذكاء االصطناعي في نمذجة جميع العمليات واالساليب االحصائية على الرغم‬
‫من صعوبة استخدام هذه اللغات مقارنة بالبرامج الجاهزة‪.‬‬
‫واكب ذلك تغير في مصطلح‬ ‫‪Data‬‬ ‫‪Data‬‬
‫البيانات فظهرت انواع جديدة من‬ ‫‪analytics‬‬ ‫‪analysis‬‬

‫البيانات مثل ‪unstructured‬‬

‫‪data, semi structure data‬‬
‫‪data‬‬ ‫‪data‬‬ ‫‪Business‬‬
‫‪scientist‬‬ ‫‪analyst‬‬ ‫‪analyst‬‬

‫‪machine‬‬ ‫‪deep‬‬ ‫‪image‬‬

‫‪learning‬‬ ‫‪learning‬‬ ‫‪recognition‬‬
 ‫‪Data analyst tasks‬‬
‫‪Data‬‬
‫‪extraction‬‬

‫‪Data‬‬
‫‪transformati‬‬
‫‪on‬‬

‫‪Data‬‬
‫‪manipulation‬‬

‫‪Data‬‬
‫‪loading‬‬

‫‪Reporting‬‬
‫‪and‬‬
‫‪visualizing‬‬

‫بسبب ظهور انواع جديدة من البيانات وضخامة كمية البيانات الممكن تحليلها ظهرت خدمات سحابية مثل ‪google big query , Amazon web services‬‬
‫وهي خدمات تتيح ما يشبه حواسب افتراضية بامكانيات مهولة يمكن بسعر بسيط االشتراك فيها واستضافة وتحليل البيانات واالستفادة من العديد من الخدمات دون‬
‫الحاجة إلى شراء معدات مكلفة‪.‬‬
‫أدى هذا إلى ظهور مصطلح ‪ ، Data engineer‬وهو المسئول عن تكامل نظم البيانات مع أنظمة تكنولوجية أخرى مع وجود أقل قدر من العنصر البشري‬
 ‫كل ما سبق ادى إلى…‪.‬‬
‫سهولة استخدامها وبساطتة التعامل معها‪.‬‬
‫‪Classical‬‬
‫‪Modern data‬‬
‫‪statistical‬‬
‫‪analysis‬‬
‫قامت العديد من هذه البرامج بالتكامل مع لغات البرمجة مثل‬ ‫‪analysis‬‬
‫البايثون وبالتالي يمكن للمستخدم التعامل مع كال نوعي البرامج‬
‫في نفس الوقت‪.‬‬

‫تم تطوير البرامج االحصائية الجاهزة وإضافة بعض تقنيات‬

‫‪ deep learningmachine learning ,‬إليها‪.‬‬

‫وفرت هذه البرامج القدرة على إخراج تقارير بتحليالت بسيطة‬

‫عالية الجودة مثل ‪.spss reports‬‬

‫إضافة تقنيات لتحليل السوق مثل ‪SPSS market‬‬

‫‪.research‬‬

‫أضافت هذه البرامج إمكانية مشابهه للمكتبات في لغات‬

‫البرمجة مثل ‪SPSS extensions and utilities‬‬
‫ومازال التطور جاريًا‬
 ‫أين نحن االن؟‬
‫الجودة في‬
‫اإلحصاءات‬
‫الرسمية‬

‫أبعاد الجودة في‬

‫مقدمة عن علم‬
‫اإلحصاءات‬ ‫طرق جمع البيانات‬
‫البيانات‬
‫الرسمية‬

‫العينات والمسوح‬
 ‫تعريف البيانات المسحية والسجالت اإلدارية‬
‫• البيانات التي يتم تجميعها عن طريق مالمسوح اإلحصائية المختلفة‬
‫• السجل ‪ Record‬هو قاعدة بيانات تم تجميعها مسبقا تشمل مجموعة من السمات أو‬
‫المتغيرات‬
 ‫البيانات المسحية‬

‫• المعاينة هي عملية تستخدم في التحليل اإلحصائي بغرض جمع بيانات من مجموعة محددة من المستجيبين‬
‫علم العينات‬ ‫يتم اختيارهم من مجتمع أكبر‬
‫• يتم استخدام تقنيات المعاينة لصعوبة جمع البيانات من كل المجتمع‬

‫• المجتمع‪ :‬هو مجموعة من العناصر تتشارك في أنها محل اهتمام الدراسة أو الظاهرة‬
‫أهم التعريفات‬ ‫• المعاينة‪ :‬عملية سحب مجموعة من المفردات من مجتمع ما لتقدير بعض خصائص هذا المجتمع‬
‫•العينة‪ :‬صورة مصغرة من المجتمع‪ ،‬فهي جزء منه يحتوي على جميع صفات هذا المجتمع‬
‫المستخدمة في علم‬ ‫• يمكن تقسيم العينات إلى قسمين أساسين‪ :‬عينات عشوائية وعينات غير عشوائية‬
‫• تسمح العينات العشوائية لجميع مفردات المجتمع بالظهور في العينة بنفس االحتمال‬

‫العينات‬ ‫•‪.‬اإلطار والمجتمع المستهدف‪ :‬هو قائمة تشمل جميع مفردات المجتمع المزمع سحب عينة منه‬

‫‪Date‬‬ ‫‪15‬‬
 ‫البيانات المسحية‪ :‬أنواع المسوح‬

‫مسوح مسوح‬
‫قائمة باستخدام‬ ‫مسوح‬
‫مسوح نقطة‬
‫لوحية‪/‬عرضي‬
‫تعدادات عينات‬ ‫عينات‬ ‫على‬ ‫ة‬
‫زمنية واحدة‬
‫غير‬ ‫عينات‬
‫عشوائية عشوائية‬

‫مسوح‬
‫مسوح‬
‫إلكترو‬
‫ورقية‬
‫نية‬
‫إجراءات ضبط الجودة بالبيانات المسحية )‪• 2‬‬
‫اوال مرحلة ما قبل جمع البيانات •‬
‫‪ )2.1‬إجراءات ضبط الجودة قبل جمع البيانات‬
‫تحديد األهداف‬
‫تحديد مجتمع الدراسة‬
‫تصميم االستمارة‬
‫تجريب االستمارة‬
‫مراعاة انتقاالت والقيم المسموح بها لألسئلة أو المتغيرات‬
‫قياس المدى الزمني لالستمارة‬
‫بدء االستمارة بمقدمة عن المسح مع اإلشارة إلى سرية البيانات المجمعة‬
‫إضافة الرقم التسلسلي لكل استمارة‬
‫التأكد من شمولية االستمارة لجميع االسئلة محل الدراسة‪ ،‬مع عدم وجود أي أسئلة زائدة عن الحاجة‬
‫تجنب االسئلة الموحية أو الغامضة أو المركبة‬
‫في حال األسئلة ذات اإلجابات الرقمية‪ ،‬يجب تحديد وحدات القياس‬
‫تقسيم االطار الى مناطق وتحديد مناطق عمل جامعي البيانات منعا للتداخل‬
 ‫إجراءات ضبط الجودة قبل جمع البيانات‪ :‬العينة )‪2.1‬‬
‫االستطالعية‬

‫تدريب‬ ‫تجريب‬ ‫قياس نسبة‬ ‫تجريب أسئلة‬ ‫قياس وقت‬ ‫تجريب‬

‫جامعي‬ ‫االطار‬ ‫عدم‬ ‫وانتقاالت‬ ‫استيفاء‬ ‫االستمارة من‬
‫البيانات على‬ ‫الخاص‬ ‫االستجابة‬ ‫االستمارة‬ ‫االستمارة‬ ‫خالل عينة‬
‫االستمارة‬ ‫بالعينة‬ ‫استطالعية‬
‫‪pretest‬‬
‫بهدف‬
‫‪ )3‬ضبط الجودة بالمسوح واالستبيانات اإللكترونية‬
‫(الطرق المجانية والمدفوعة األجر)‬

‫‪Electr‬‬ ‫‪Paper‬‬
‫‪onic‬‬ ‫‪based‬‬
‫‪Surve‬‬ ‫‪surve‬‬
‫‪ys‬‬ ‫‪ys‬‬
‫‪ ) 3.1‬ضبط الجودة بالمسوح واالستبيانات اإللكترونية‬
‫(الطرق المجانية والمدفوعة األجر)‬
‫مزايا االستبيانات االلكترونية‬
‫يمكن أن تطبق باستخدام اإلنترنت أو بدونه‬ ‫•‬
‫يمكن تطبيق العديد من قواعد المراجعة بشكل آلي‬ ‫•‬
‫التحتاج إلى إدخال بيانات‬ ‫•‬
‫يمكن تصميم استبيانات أكثر جذبا من االستبيانات الورقي‬ ‫•‬
‫يمكن استعراض اإلجابات في أي وقت‬ ‫•‬
‫أكثر كفاءة من االستبيانات الورقية في حالة الرغبة في إجراء اي تعديل أثناء التطبيق‬ ‫•‬
‫توفر الوقت والجهد الالزم لطباعة ونقل االستمارات‬ ‫•‬

‫حدود االستبيانات االلكترونية‬

‫تتطلب مهارة وخبرة لتصميمها‬ ‫•‬
‫بعض األنواع الُينتج عينة عشوائية يمكن تعميم نتائجها‬ ‫•‬
‫بعض األنواع يتطلب أن يجيب المبحوث على األسئلة بنفسه دون مساعدة من الباحث‬ ‫•‬
‫بعض األنواع تتطلب تخزين البيانات في مصدر خارجي‬ ‫•‬
‫بعض األنواع غير مجاني‪ ،‬واألنواع المجانية محدودة المزايا‬ ‫•‬
‫للحفاظ على سرية البيانات البد من اتخاذ إجراءات أمنية إضافية‬ ‫•‬
‫‪ )3.2‬استبيانات إلكترونية يمكن أن ُتطبق باستخدام أو بدون استخدام اإلنترنت‬
‫األنواع غير المجانية‬ ‫األنواع المجانية‬
‫‪Survey123 ,Count Big , ...‬‬ ‫‪cspro‬‬

‫من التطبيقات التي تم تصميمها من أجل جمع وعرض وتحليل‬

‫من البرامج المتخصصة في المسوح الميدانية‬
‫البيانات بشكل كفء‬

‫ُيوصى باستخدامه من المكتب اإلحصائي لألمم المتحدة‬

‫سهلة في االستخدام‬

‫أثبت كفاءته في العديد من تعدادات الدول ذات الحجم السكاني‬

‫تتيح عرض ‪ dashboard‬للبيانات التي يتم تجمعيها‬
‫الكبير مثل أندونيسيا‬

‫تتيح تنظيم األدوار وتقسيم مناطق العمل والتواصل بين فريق‬

‫يمكن تطبيق جميع قواعد المراجعة واالنتقاالت بشكل الي‬
‫جمع البيانات وفريق تصميم البيانات‬

‫مفتوح المصدر ويسمح بالتكامل مع بعض لغات البرمجة‬

‫يحتاج إلى تدريب لبناء االستمارة‬

 ‫‪) 3.3‬االستبيانات االلكترونية باستخدام اإلنترنت‬

‫األنواع المجانية‬
‫‪• Google forms‬‬
‫‪• Microsoft form‬‬

‫األنواع غير‬
‫المجانية‬
‫•‬ ‫‪Survey Monkey‬‬
‫•‬ ‫‪Smart survey‬‬
‫•‬ ‫‪Jotform‬‬
‫•‬ ‫‪....‬‬
 How to determine
‫) طرق تحديد حجم العينة‬4
sample size

Unknown
Known population
population

• Launch sampling software

Date Your Footer Here 25
‫‪:‬أشهر أنواع العينات اإلحصائية‬

‫العينة العشوائية البسيطة‬

‫العينة الطبقية‬

‫العينة الطبقية المتناسبة مع الحجم‬

‫العينة العشوائية المنتظمة‬

 ‫‪ :‬العينة العشوائية البسيطة ‪3-‬‬
‫في هدا النوع من العينات يعطي الباحث فرصة متساوية لكل فرد من‬
‫أفراد المجتمع بأن يكون ضمن العينة المختارة ‪ .‬ويكون هذا النوع من‬
‫العينات مفيد ومؤثر في حالة وجود تجانس وصفات مشتركة بين جميع‬
‫أفراد المجتمع األصلي المعني بالدراسة ‪.‬ويتم إختيار العينة العشوائية‬
‫‪ :‬البسيطة بإحدي الطريقتين‬
‫ب‪ -‬إستخدم جداول األرقام العشوائية‬ ‫‪.‬أ‪ -‬القرعة‪.‬‬
‫ويمكن إستخدام الحاسب اإللكتروني في إختيار األرقام العشوائية‬
‫‪.‬بغرض سرعةالوصول إلي النماذج المطلوبة ودقة إختيارها‬
 ‫العينة الطبقية ‪ :‬وفيها يقسم المجتمع إلي الشرائح أو الطبقات التى‬
‫يشتمل عليها ‪,‬ومثال دلك إذا كان مجتمع البحث يتكون من طالبات كلية‬
‫اآلداب وحجم العينة المطلوبة للبحث هو‪ 400‬طالبة ‪,‬فيمكن أن تكون‬
‫شرائح المجتمع وطبقاته مشكلة من األقسام العلمية للكلية (قسم‬
‫الجغرافيا ‪ ,‬قسم التاريخ ‪,‬قسم اإلعالم ‪,‬قسم الفلسفة ‪---‬الخ) فإذاكان‬
‫عدد األقسام خمسة يتم أخد عدد(‪ 80‬طالبة ) من كل شريحة ‪.‬وإذا‬
‫زادعدد األقسام عن الخمسة يقسم مجموع العينةالمطلوبة عليها ثم‬
‫يؤخد عدد متساوى من كل منها فمثآل إذاكان عدد األقسام ثمانية ‪,‬يؤخد‬
‫‪)50(.‬طالبة من كل قسم (‪ ) 8 ÷400‬وهكذا‬
 ‫العينة الطبقية المتناسبة مع الحجم‬
‫وفيها يتم تقسيم المجتمع األصلي للبحث إلي شرائح أوفئات أو طبقات‬
‫إالأنه بدآل من تحديد حجم العينة علي أساس متساوي من كل شريحة‬
‫من شرائح المجتمع ‪,‬تكون أكثر دقة حيث يتناسب حجم عدد أفراد‬
‫العينة مع الحجم ووالتعداد األصلي لكل شريحة داخل‬
‫‪ .‬المجتمع ونسبتها إلي المجموع الكلي لمجتمع البحث‬
‫وتعنى الطبقية الشريحة أو الشرائح التي ينقسم إليها أفراد‬
‫المجتمع ‪,‬وتعني التناسبية أن العدد المختار من كل شريحة يجب أن‬
‫‪ .‬يتناسب مع حجمها الفعلي ‪,‬ومع تمثيلها داخل المجتمع‬
‫مثال ‪:‬إذاكان حجم المجتمع األصلي هو (‪ )20000‬مشاهد ‪,‬وكان تمثيلهم‬
‫‪ :‬كما يلي‬
‫الموظفون ‪ + 4500‬المتقاعدون ‪ + 2500‬الطلبة ‪ + 6000‬ربات(‬
‫‪ 20000‬مشاهد ‪,‬وإذ اكان حجم=) البيوت ‪ + 3000‬المهن الحرة ‪4000‬‬
‫العينة المراد إختيارها هو (‪ )400‬مشاهد ‪,‬فإن تمثيلهم في العينة‬
‫‪ :‬الطبقية التناسبية سيكون كألتي‬
‫‪( 50‬الرقم أساس التقييم= } حجم المجتمع ÷‪ 400‬حجم العينة ‪{20000‬‬
‫‪,) :‬وستكون العينة التناسبية كما يلي‬
‫أ – الموظفون= (‪90= ) 50÷ 4500‬‬
‫ب – المتقاعدون = (‪50=)50÷2500‬‬
‫جـ‪ -‬الطلبة = (‪120 = ) 50÷ 600‬‬
‫د‪ -‬ربات البيوت = (‪60= ) 50÷ 3000‬‬
‫هـ‪ -‬مهن حرة = (‪80 = ) 50÷ 4000‬‬
 ‫‪ :‬العينة العشوائية المنتظمة‬
‫يكون إختيار الوحدات في العينة المنتظمة علي أساس تقسيم العدد الكلي للمجتمع علي حجم‬
‫العينة المطلوبة ‪,‬ومن ثم توزيع وحدات المجتمع األصلي ‪,‬وبشكل متساوي ومنتظم علي‬
‫‪ .‬الرقم الناتج من ذلك التقسيم‬
‫مثال ‪:‬إذا كان العدد الكلي للمجتمع هو (‪ )3000‬طالبة وكانت العينة المطلوبة هي (‪ )150‬طالبة‬
‫‪ :‬فقط ‪,‬فيكون توزيع الوحدات الكلية األصلية للمجتمع كما يلي‬
‫وعلي هذا األساس فإنه يتحدد الرقم األول للعينة أي إسم الطالبة األولي‪(3500÷150)=20 ,‬‬
‫بشكل يكون أقل من الرقم (‪ )20‬ولتكن الطالبة رقم (‪ )3‬ثم يبدأ الباحث بتوزيع العينة علي‬
‫‪ :‬بقية األسماء كما يلي‬
‫أول رقم (‪, )3‬والرقم الثاني سيكون (‪,) 23= 20+3‬والرقم الثالث هو (‪, )43‬ثم‬
‫(‪,)63‬و(‪, )83‬و(‪,)103‬و(‪000)123‬الخ‪ ,‬وهكذاحتي نصل للرقم سيكون (‪ )2983‬أي الذي‬
‫‪.‬يكون تسلسله(‪)150‬‬
 ‫‪ )4.1‬أنواع العينات وطرق سحبها‬
‫• باستخدام ‪( Excel‬للعينات العشوائية البسيطة فقط)‬
‫• باستخدام ‪( SPSS‬لجميع أنواع العينات)‬
‫ثانيا مرحلة جمع البيانات •‬
 ‫طرق ضبط الجودة أثناء جمع البيانات المسحية‪ :‬مراقبة الجودة بالميدان‬

‫• تحديد األسئلة الخاصة بإعادة التواصل مع المستجيب‬

‫• قياس وقت ملئ االستبيان‬

‫• قياس المكان الجغرافي لملئ االستبيان‬

‫• تشكيل فريق إلعادة التطبيق مع عينة من المستجيبين‬

‫• إعداد تقارير انجاز لكل جامع للبيانات يتضمن العدد المستهدف والفعلي‬

‫• التفرقة بين مفاهيم القيم المفقودة والقيم الصفرية وحاالت الرفض‬

‫• تحديد أدوار مشرفي جمع البيانات والمراجعين لمراجعة البيانات ميدانيا والتأكد من استيفاء واتساق جميع البيانات المطلوبة‪ ،‬وإعادة‬
‫االستمارات غير المكتملة للميدان‪ ،‬أو استكمالها عبر الهاتف‬
 ‫طرق ضبط الجودة بعد جمع البيانات (دور المحلل‬
‫اإلحصائي)‬
‫• استخدام البرامج اإلحصائية المتخصصة في إدخال البيانات لالستبيانات الورقية‬
‫‪SQL, Access, CSPRO‬‬
‫• استخدام البرامج اإلحصائية المتخصصة في مراجعة البيانات (التحليل الوصفي‬
‫للبيانات)‬
‫مقدمة عن أشهر برامج إدخال وتحليل البيانات‬
‫‪Excel‬‬ ‫•‬
‫‪SPSS‬‬ ‫•‬
‫‪Minitab‬‬ ‫•‬
‫‪CSPRO‬‬ ‫•‬
‫‪MYSQL‬‬ ‫•‬
‫‪Power BI‬‬ ‫•‬
‫• ادخال البيانات باستخدام برنامج ‪CSPRO‬‬
‫• ادخال البيانات باستخدام برنامج ‪SPSS‬‬
‫• ادخال البيانات باستخدام برنامج ‪MYSQl‬‬
‫• التحليل الوصفي للمتغيرات باستخدام برنامج ‪SPSS‬‬