‫نظرية المعلومات‬

‫عملي (‪)6‬‬
‫ملف داعم‬
 ‫نظرية المعلومات‬

‫عملي (‪)6‬‬
‫مسألة‪:‬‬
‫منبع ماركوف من المرتبة الثانية ألبجدية } ‪ 𝑆 = { 0 , 1‬واحتماالت شرطية‪:‬‬
‫‪𝑃(1⁄11) = 𝑃(0⁄00) = 0.7‬‬
‫‪𝑃(0⁄10) = 𝑃(0⁄01) = 0.5‬‬
‫بفرض أن المنبع مستقر‪ ،‬ارسم مخطط الحالة وأوجد احتماالت الحالة المستقرة واحسب انتروبية منبع‬
‫ماركوف‪.‬‬

‫الحل‪:‬‬
‫𝑛‬ ‫‪2‬‬
‫‪𝑞 =2 =4‬‬

‫االحتماالت‬
‫حالة المنبع‬ ‫الرمز المنطلق‬ ‫الحالة الجديدة‬ ‫االنتقال‬
‫الشرطية‬
‫‪0‬‬ ‫‪00‬‬ ‫‪1→1‬‬ ‫‪07‬‬
‫‪00‬‬
‫‪1‬‬ ‫‪01‬‬ ‫‪1→2‬‬ ‫‪03‬‬
‫‪0‬‬ ‫‪10‬‬ ‫‪2→4‬‬ ‫‪05‬‬
‫‪01‬‬
‫‪1‬‬ ‫‪11‬‬ ‫‪2→3‬‬ ‫‪05‬‬
‫‪0‬‬ ‫‪10‬‬ ‫‪3→4‬‬ ‫‪03‬‬
‫‪11‬‬
‫‪1‬‬ ‫‪11‬‬ ‫‪3→3‬‬ ‫‪07‬‬
‫‪0‬‬ ‫‪00‬‬ ‫‪4→1‬‬ ‫‪05‬‬
‫‪10‬‬
‫‪1‬‬ ‫‪01‬‬ ‫‪4→2‬‬ ‫‪05‬‬
‫‪0.7‬‬

‫‪00‬‬
‫‪0.3‬‬ ‫‪0.5‬‬

‫‪0.5‬‬
‫‪01‬‬ ‫‪10‬‬
‫‪0.5‬‬

‫‪0.5‬‬
‫‪0.3‬‬
‫‪11‬‬

‫‪0.7‬‬

‫‪1‬‬
 ‫نظرية المعلومات‬

‫عملي (‪)6‬‬
‫𝜋 ⋅ ‪ሾ𝑄 − 𝐼ሿ‬‬
‫‪ሬԦ = 0‬‬
‫𝑇𝑃 = 𝑄‬

‫‪0.7 0.3 0‬‬ ‫‪0‬‬

‫‪0‬‬ ‫‪0 0.5 0.5‬‬
‫‪𝑃=൦‬‬ ‫‪൪‬‬
‫‪0‬‬ ‫‪0 0.7 0.3‬‬
‫‪0.5 0.5 0‬‬ ‫‪0‬‬

‫‪0.7 0‬‬ ‫‪0 0.5‬‬

‫‪0.3 0‬‬ ‫‪0 0.5‬‬
‫‪𝑄=൦‬‬ ‫‪൪‬‬
‫‪0 0.5 0.7 0‬‬
‫‪0 0.5 0.3 0‬‬

‫‪−0.3 0‬‬ ‫‪0‬‬ ‫‪0.5‬‬ ‫‪𝜋1‬‬ ‫‪0‬‬

‫‪0.3 −1‬‬ ‫‪0‬‬ ‫‪0.5‬‬ ‫𝜋‬‫‪2‬‬ ‫‪0‬‬
‫‪൦‬‬ ‫‪൪ ⋅ ൦𝜋 ൪ = ൦ ൪‬‬
‫‪0‬‬ ‫‪0.5 −0.3 0‬‬ ‫‪3‬‬ ‫‪0‬‬
‫‪0‬‬ ‫‪0.5 0.3 −1‬‬ ‫𝜋‬‫‪4‬‬ ‫‪0‬‬

‫‪−0.3 𝜋1 + 0 + 0 + 0.5 𝜋4 = 0‬‬

‫‪0.3 𝜋1 − 𝜋2 + 0 + 0.5 𝜋4 = 0‬‬
‫‪0 + 0.5 𝜋2 − 0.3 𝜋3 + 0 = 0‬‬
‫‪0 + 0.5 𝜋2 + 0.3 𝜋3 − 𝜋4 = 0‬‬

‫‪𝜋1 + 𝜋2 + 𝜋3 + 𝜋4 = 1‬‬

‫‪𝜋1‬‬ ‫‪= 𝑃(00) = 0.3‬‬

‫‪𝜋2‬‬ ‫‪= 𝑃(01) = 0.2‬‬
‫‪𝜋3‬‬ ‫‪= 𝑃(11) = 0.3‬‬
‫‪𝜋4‬‬ ‫‪= 𝑃(10) = 0.2‬‬

‫االحتمال المستمر‬ ‫الحادثة المشتركة‬

‫‪0 21‬‬
‫‪03‬‬
‫‪0 09‬‬
‫‪01‬‬
‫‪02‬‬
‫‪01‬‬
‫‪0 09‬‬
‫‪03‬‬
‫‪0 21‬‬
‫‪01‬‬
‫‪02‬‬
‫‪01‬‬

‫احتمال الحادثة المشتركة = االحتمال الشرطي × احتمال االستقرار‬

‫‪1‬‬
‫‪ ⋅ log‬احتمال المشتركة ‪𝐻(𝑆) = ෍‬‬
‫احتمال الشرطي‬

‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬

‫‪𝐻(𝑆) = 0.21 ⋅ log‬‬ ‫‪+ 0.09 ⋅ log‬‬ ‫‪+ 0.2 ⋅ log‬‬ ‫‪+ 0.09 ⋅ log‬‬ ‫‪+ 0.21 ⋅ log‬‬ ‫‪+ 0.2 ⋅ log‬‬
‫‪0.7‬‬ ‫‪0.3‬‬ ‫‪0.5‬‬ ‫‪0.3‬‬ ‫‪0.7‬‬ ‫‪0.5‬‬

‫‪2‬‬
 ‫نظرية المعلومات‬

‫عملي (‪)6‬‬
‫مسألة‪:‬‬
‫منبع ماركوف من المرتبة األولى أبجديته‪:‬‬
‫} ‪𝑆 = { 0 ,1 ,2‬‬
‫له مخطط الحالة المبين بالشكل‪ ،‬وبفرض أن المنبع مستقر؛ أوجد انتروبية المنبع‪.‬‬

‫𝑎‬

‫‪0‬‬
‫𝑎‬ ‫𝑏‬

‫𝑎‬ ‫𝑎‬

‫‪1‬‬ ‫‪2‬‬
‫𝑎‬ ‫𝑎‬ ‫𝑏‬

‫‪1‬‬ ‫‪1‬‬
‫=𝑎‬ ‫=𝑏 ‪,‬‬
‫‪3‬‬ ‫‪2‬‬

‫الحل‪:‬‬
‫𝜋→𝑄→𝑃‬

‫)‪𝜋1 𝑃(0‬‬
‫)‪𝜋2 𝑃(1‬‬
‫)‪𝜋4 𝑃(2‬‬

‫االحتماالت‬
‫حالة المنبع‬ ‫الرمز المنطلق‬ ‫الحالة الجديدة‬ ‫االنتقال‬
‫الشرطية‬
‫‪0‬‬ ‫‪0‬‬ ‫‪1→1‬‬ ‫‪1/3‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1→2‬‬ ‫‪1/3‬‬
‫‪2‬‬ ‫‪2‬‬ ‫‪1→3‬‬ ‫‪1/3‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪2→1‬‬ ‫‪1/3‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪2→2‬‬ ‫‪1/3‬‬
‫‪2‬‬ ‫‪2‬‬ ‫‪2→3‬‬ ‫‪1/3‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪3→1‬‬ ‫‪1/2‬‬
‫‪2‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪3→2‬‬ ‫‪0‬‬
‫‪2‬‬ ‫‪2‬‬ ‫‪3→3‬‬ ‫‪1/2‬‬

‫‪3‬‬
 ‫نظرية المعلومات‬

‫عملي (‪)6‬‬
‫االحتمال المستقر‬ ‫الحالة المشتركة‬
‫‪2/15‬‬
‫‪2/5‬‬ ‫‪2/15‬‬
‫‪2/15‬‬
‫‪1/15‬‬
‫‪1/5‬‬ ‫‪1/15‬‬
‫‪1/15‬‬
‫‪2/10‬‬
‫‪2/5‬‬ ‫‪0‬‬
‫‪2/10‬‬

‫‪2‬‬ ‫‪1‬‬ ‫‪2‬‬

‫⋅ ‪𝐻(𝑆) = 3‬‬ ‫⋅ ‪⋅ log 3 + 3‬‬ ‫⋅ ‪⋅ log 3 + 2‬‬ ‫‪⋅ log 2‬‬
‫‪15‬‬ ‫‪15‬‬ ‫‪10‬‬
‫‪= 1.35 ሾ𝑏𝑖𝑡ሿ‬‬

‫‪4‬‬
 ‫عبداهلل شيخ دبس‬ ‫كيتار جميل‬ ‫ضبيط‬
‫جودي ّ‬

‫عائشة الحسن‬ ‫فاطمة الزهراء البيك‬ ‫بتول درويش‬

‫عائشة بيازيد‬ ‫ساندي منالعلي‬ ‫محمد عمر‬

‫يمان ّ‬
‫بني‬ ‫سهام جريخ‬ ‫ابراهيم موالدي‬

‫براءة فريق‬ ‫روكسان بلكو‬ ‫دانية عطري‬

‫محمد زهير بوشي‬ ‫تغريد بابا‬ ‫سوزان حسين‬

‫محمد صالح صبّاغ‬ ‫سنا عاصي‬ ‫عبدالملك سخيطة‬

‫محي الدّ ين األمين‬ ‫نايا سليمان االحمد‬ ‫هبة هللا بعيج‬

‫سدرة جيجة‬ ‫الرا إدلبي حجّ ي‬ ‫محمد صباح خيّاطة‬

‫حبيب المحمد الخلف‬ ‫جود الب ّكور‬ ‫إسراء شهاب‬

‫عبدالرحمن شيّاح‬ ‫عبدالرحمن سعيد الشيخ‬ ‫جودي بغدادي‬