‫نظرية المعلومات‬

‫أ‪ .‬د‪ .‬حاتم النجدي‬

‫الجامعة السورية الخاصة ‪SPU‬‬
 ‫تقديم‬
‫• شهدت أواخر القرن التاسع عشر وأوائل القرن العشرين والدة‬
‫االتصاالت اإللكترونية‪ :‬البرق‪ ،‬الهاتف‪ ،‬الراديو‪ ،‬التلفزيون‪.‬‬
‫• وظائف جميع نظم االتصاالت هي نقل المعلومات من طرف إلى آخر‪.‬‬
‫ومع ذلك لم يُنظر إليها على أنها أوجه مختلفة لظاهرة واحدة‪ ،‬بل‬
‫اعتُبرت كينونات منفصلة وجرى تطويرها مستقلة بعضا عن بعض‪.‬‬
‫• في ثالثينيات القرن العشرين‪ ،‬بدأ كلود شانون ‪Claude Shannon‬‬
‫بالتفكير بنظرية موحدة لالتصاالت‪.‬‬
 ‫تقديم‬
‫في عام ‪ ،1939‬كتب شانون إلى أستاذه رسالة عن رؤيته لمنظومة‬
‫تعبر عن جميع أنواع االتصاالت قال فيها‪:‬‬
‫اتصاالت موحدة ِّ‬
 ‫تقديم‬
‫في عام ‪ ،1939‬كتب شانون إلى أستاذه رسالة عن رؤيته لمنظومة‬
‫تعبر عن جميع أنواع االتصاالت قال فيها‪:‬‬
‫اتصاالت موحدة ِّ‬
‫عملت من حين إلى آخر على تحليل بعض الخواص األساسية لمنظومات عامة‬
‫لنقل معلومات استخباراتية‪ ،‬ومنها الهاتف والراديو والتلفزيون والبرق وغيرها‪.‬‬
‫ومن الناحية العملية‪ ،‬يمكن تمثيل جميع منظومات االتصال بالشكل العام التالي‪:‬‬

‫إشارة منبع‬ ‫إشارة قناة االتصال‬ ‫مستقبل‬ ‫إشارة مستقبلة‬

‫مرسل‬
 ‫تقديم‬
‫في عام ‪ ،1948‬نشر شانون نظريته المعروفة بـ‪:‬‬
‫النظرية الرياضياتية لالتصاالت‬
‫‪The Mathematical Theory of Communication‬‬

‫تُعتبر النظرية امتدادا وتوسعة ألفكار أولية سابقة لهاري نايكويست‬

‫‪ Harry Nyquist‬ورالف هارتلي ‪ Ralph Hartley‬تحدد العالقة بين‬
‫عرض قناة االتصال المتوفرة واستطاعة الضجيج من ناحية‪ ،‬وبين معدل‬
‫إرسال المعلومات على القناة‪ ،‬من ناحية أخرى‪.‬‬
 ‫تقديم‬
‫• كلود شانون (‪ )2001-1916‬رياضياتي ومهندس كهرباء ومشفر‬
‫أمريكي‪ ،‬وهو أبو نظرية المعلومات‪ .‬دخل جامعة ميشيغان في عام‬
‫‪ ،1932‬وتخرج منها في عام ‪ 1936‬حامال إجازتين جامعيتين‪ ،‬واحدة‬
‫في الهندسة الكهربائية‪ ،‬وأخرى في الرياضيات‪.‬‬
‫• عمل شانون في مجال كسر الشيفرة في الحرب العالمية الثانية‪ ،‬ولعل‬
‫عمله ذاك هو الذي أنضج نظرية المعلومات لديه‪.‬‬
‫• في عام ‪ ،1949‬برهن على أن مشفر المرة الواحدة غير قابل للكسر‪.‬‬
 ‫المعلومات ‪Information‬‬
‫تقديم‬
‫• المعلومات هي صلة الوصل بين الكائن الواعي والعالم الخارجي الذي يحيط به‪.‬‬
‫• إذا انعدمت المعلومات التي ترد إليك من خالل حواسك الخمس‪ ،‬انقط ْعتَ عما‬
‫حولك‪ ،‬ومن ث َ َّم عن الوجود‪.‬‬
‫• المعلومات هي أداة الوعي‪.‬‬
‫• المعلومات على صلة‪:‬‬
‫بالبيانات ‪ DATA‬التي تمثل قيما عددية لمختلف األشياء عموما‪.‬‬
‫تعبر عن فهمنا لألشياء المادية والمعنوية‪.‬‬
‫وبالمعرفة التي ِّ‬
 ‫المعلومات ‪Information‬‬
‫تقديم‬
‫تأتينا المعلومات على شكل رسائل‪:‬‬
‫• سمعية‪ :‬ومنها الكالم والموسيقى واألصوات القادمة من المحيط حولنا‪.‬‬
‫• مرئية‪ :‬أي ضوئية‪ ،‬ومنها النصوص والصور والتلفزيون والطبيعة‪.‬‬
‫• كيميائية‪ :‬وهي تلك التي نستشعرها بحاستي الذوق والشم‪.‬‬
‫• ميكانيكية‪ :‬وهي تلك التي نستشعرها بحاسة اللمس‪ ،‬ومنها الضغط‬
‫والحرارة‪.‬‬
 ‫العمليات التي تُطبَّق على المعلومات‬
‫تقديم‬
‫(لم يكن معظمها منظورا من قبل شانون في البداية)‪:‬‬
‫• عمليات من أجل نقلها‪ ،‬وهذه تتضمن تأهيلها للنقل بوجود الضجيج والتشويش‬
‫والتشويه‪ ،‬وحمايتها من الخطأ من أجل استعادتها على نحو صحيح‪ ،‬وحمايتها‬
‫من السرقة والعبث بها‪.‬‬
‫• عمليات من أجل حفظها‪.‬‬
‫• عمليات من أجل استعمالها‪.‬‬
‫• عمليات من أجل تفسيرها‪ ،‬ومن أمثلة ذلك معالجة اللغات الطبيعية‪.‬‬
 ‫نموذج نظام االتصاالت‬
‫تقديم‬
‫منبع‬
‫مر ّمز المعلومات‬ ‫مر ّمز‬ ‫مفكك ترميز‬ ‫مفكك ترميز‬ ‫معلومات‬
‫قناة‬ ‫مستعادة‬
‫المنبع‬ ‫القناة‬ ‫القناة‬ ‫المنبع‬
‫‪Source‬‬ ‫‪Channel‬‬ ‫‪Channel‬‬ ‫‪Source Reconstructed‬‬
‫‪Channel‬‬
‫‪coder‬‬ ‫‪coder‬‬ ‫‪decoder‬‬ ‫‪decoder‬‬ ‫‪Source‬‬

‫منبع المعلومات‪:‬‬
‫جهاز يعطي رموزا عشوائية من منبع ما‪ .‬فمثال‪ ،‬الكمرة الرقمية الموصولة مع حاسوب‬
‫تعطي رموزا اثنانية (بتات) من األبجدية }‪.{0, 1‬‬
 ‫نموذج نظام االتصاالت‬
‫تقديم‬
‫منبع‬
‫مر ّمز المعلومات‬ ‫مر ّمز‬ ‫مفكك ترميز‬ ‫مفكك ترميز‬ ‫معلومات‬
‫قناة‬ ‫مستعادة‬
‫المنبع‬ ‫القناة‬ ‫القناة‬ ‫المنبع‬
‫‪Source‬‬ ‫‪Channel‬‬ ‫‪Channel‬‬ ‫‪Source Reconstructed‬‬
‫‪Channel‬‬
‫‪coder‬‬ ‫‪coder‬‬ ‫‪decoder‬‬ ‫‪decoder‬‬ ‫‪Source‬‬

‫مرمز المنبع‪:‬‬
‫ير ّمز معلومات المنبع بطريقة أكثر إيجازا وذلك بحذف التكرار (الفائض ‪)redundancy‬‬
‫منها‪ .‬والغرض من ذلك تخفيض معدل البيانات ‪ Data Rate‬التي سوف تُر َ‬
‫سل‪.‬‬
 ‫نموذج نظام االتصاالت‬
‫تقديم‬
‫منبع‬
‫مر ّمز المعلومات‬ ‫مر ّمز‬ ‫مفكك ترميز‬ ‫مفكك ترميز‬ ‫معلومات‬
‫قناة‬ ‫مستعادة‬
‫المنبع‬ ‫القناة‬ ‫القناة‬ ‫المنبع‬
‫‪Source‬‬ ‫‪Channel‬‬ ‫‪Channel‬‬ ‫‪Source Reconstructed‬‬
‫‪Channel‬‬
‫‪coder‬‬ ‫‪coder‬‬ ‫‪decoder‬‬ ‫‪decoder‬‬ ‫‪Source‬‬

‫مرمز القناة‪:‬‬
‫يُضيف مر ّمز القناة حشوا (‪ )redundancy‬إلى البيانات من أجل حماية البيانات المرسلة‬
‫من أخطاء النقل‪.‬‬
 ‫نموذج نظام االتصاالت‬
‫تقديم‬
‫منبع‬
‫مر ّمز المعلومات‬ ‫مر ّمز‬ ‫مفكك ترميز‬ ‫مفكك ترميز‬ ‫معلومات‬
‫قناة‬ ‫مستعادة‬
‫المنبع‬ ‫القناة‬ ‫القناة‬ ‫المنبع‬
‫‪Source‬‬ ‫‪Channel‬‬ ‫‪Channel‬‬ ‫‪Source Reconstructed‬‬
‫‪Channel‬‬
‫‪coder‬‬ ‫‪coder‬‬ ‫‪decoder‬‬ ‫‪decoder‬‬ ‫‪Source‬‬

‫القناة‪:‬‬
‫هي وسط نقل البيانات من المرسل إلى المستقبل‪ ،‬ومن أمثلتها خط الهاتف والوصلة‬
‫الراديوية والليف الضوئي ‪ ..‬إلخ‪ .‬تشتمل القناة على مرسل لإلشارة في طرف اإلرسال‪،‬‬
‫ومستقبل لها في طرف االستقبال‪.‬‬
 ‫نموذج نظام االتصاالت‬
‫تقديم‬
‫منبع‬
‫مر ّمز المعلومات‬ ‫مر ّمز‬ ‫مفكك ترميز‬ ‫مفكك ترميز‬ ‫معلومات‬
‫قناة‬ ‫مستعادة‬
‫المنبع‬ ‫القناة‬ ‫القناة‬ ‫المنبع‬
‫‪Source‬‬ ‫‪Channel‬‬ ‫‪Channel‬‬ ‫‪Source Reconstructed‬‬
‫‪Channel‬‬
‫‪coder‬‬ ‫‪coder‬‬ ‫‪decoder‬‬ ‫‪decoder‬‬ ‫‪Source‬‬

‫مفككا ترميز القناة والمنبع‪:‬‬

‫يقومان بالوظيفتين المعاكستين لوظيفتي مرمز القناة والمنبع بغية استخالص بيانات المنبع‬
‫في طرف االستقبال‪.‬‬
 ‫نموذج نظام االتصاالت‬
‫تقديم‬
‫منبع‬
‫مر ّمز المعلومات‬ ‫مر ّمز‬ ‫مفكك ترميز‬ ‫مفكك ترميز‬ ‫معلومات‬
‫قناة‬ ‫مستعادة‬
‫المنبع‬ ‫القناة‬ ‫القناة‬ ‫المنبع‬
‫‪Source‬‬ ‫‪Channel‬‬ ‫‪Channel‬‬ ‫‪Source Reconstructed‬‬
‫‪Channel‬‬
‫‪coder‬‬ ‫‪coder‬‬ ‫‪decoder‬‬ ‫‪decoder‬‬ ‫‪Source‬‬

‫في حين أن مرمز المنبع يسعى إلى تخفيض معدل البيانات‪،‬‬

‫يقوم مرمز القناة بزيادة ذلك المعدل‪.‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫المتغير العشوائي ‪:random variable‬‬

‫متغير قيمه الممكنة هي نواتج عملية أو ظاهرة عشوائية‪.‬‬

‫مثال‪:‬‬
‫ناتج رمي حجر النرد‪.‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬
‫ناتج رمي النقدة‪.‬‬
‫تغيرات الطقس‪.‬‬
‫أسواق المال‪.‬‬
‫اإلشارة الكالمية‪.‬‬
‫اإلشارة التلفزيونية‪.‬‬
‫النصوص اللغوية الطبيعية‪.‬‬
‫الضجيج‪.‬‬
‫‪...‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫االحتمال‪:probability‬‬

‫االحتمال 𝑝 هو قيمة تقع بين الصفر والواحد وتعبر عن إمكان حدوث حدث ما‪.‬‬
‫‪0≤𝑝≤1‬‬
‫‪ :𝑝 = 0‬الحدث مستحيل الحدوث‪.‬‬
‫‪ :𝑝 = 1‬الحدث أكيد الحدوث‪.‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫حجر النرد المتوازن‪ :‬احتمال سقوط الحجر معطيا أحد أوجهه الستة‪:‬‬
‫‪𝑝𝑑𝑖𝑐𝑒 = 1Τ6‬‬

‫النقدة المتوازنة‪ :‬احتمال الطرة والنقش‪:‬‬

‫𝑛𝑖𝑜𝑐𝑝‬ ‫‪= 1Τ2‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫احتمال سحب أي ورقة من أوراق الشدة‪:‬‬

‫𝑑𝑟𝑎𝑐𝑝‬ ‫‪= 1Τ52‬‬

‫احتمال أن يقع حجرا نرد على أي زوج من األرقام ‪ 1‬حتى ‪:6‬‬

‫‪𝑝2𝑑𝑖𝑐𝑒 = 1Τ36‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫احتمال سحب صورة من أوراق الشدة‪:‬‬

‫يوجد في أوراق الشدة ‪ 12‬صورة‪ .‬لذا‪:‬‬

‫‪𝑝𝑝𝑖𝑐𝑡𝑢𝑟𝑒 = 12Τ52 = 3Τ13 = 23.1%‬‬

‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫احتمال سحب ورقة ديناري من أوراق الشدة‪:‬‬

‫يوجد في أوراق الشدة ‪ 13‬ورقة ديناري‪ .‬لذا‪:‬‬

‫‪𝑝𝑑𝑖𝑎𝑚𝑜𝑛𝑑 = 13Τ52 = 25%‬‬

 ‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫احتمال أال تكون ورقة الشدة المسحوبة ورقة ديناري‪:‬‬

‫يوجد في أوراق الشدة ‪ 52 − 13 = 39‬ورقة غير ديناري‪ .‬لذا‪:‬‬

‫‪𝑝𝑛𝑜𝑡−𝑑𝑖𝑎𝑚𝑜𝑛𝑑 = 39Τ52 = 75%‬‬

 ‫المتغيرات العشوائية واالحتماالت‬
‫مجموع االحتماالت‪:‬‬

‫إذا اتخذ المتغير 𝑋 القيم العشوائية 𝑛 ⋯ ‪ 𝑥𝑖 , 𝑖 = 1,2,‬التي تحصل باالحتماالت‬

‫𝑛 ⋯ ‪ ، 𝑝𝑖 , 𝑖 = 1,2,‬فإن‪:‬‬
‫𝑛‬

‫‪෍ 𝑝𝑖 = 1‬‬
‫‪𝑖=1‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫مجموع احتماالت رمي النقدة‪:‬‬

‫‪1‬‬ ‫‪1‬‬
‫‪ = + = 1‬نقش = 𝑥 𝑝 ‪ +‬طرة = 𝑥 𝑝‬
‫‪2‬‬ ‫‪2‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫مجموع احتماالت رمي النرد‪:‬‬

‫‪𝑝 𝑥 =1 +𝑝 𝑥 =2 +𝑝 𝑥 =3 +𝑝 𝑥 =4‬‬
‫‪1 1 1 1 1 1‬‬
‫‪+𝑝 𝑥 = 5 + 𝑝 𝑥 = 6 = + + + + + = 1‬‬
‫‪6 6 6 6 6 6‬‬
 ‫المتغيرات العشوائية واالحتماالت‬

‫االحتمال المتمم‪:‬‬
‫عرف االحتمال المتمم‪ ،‬أو احتمال عدم‬
‫إذا حصل الحدث 𝐴 باحتمال يساوي )𝐴(𝑝‪ ،‬يُ َّ‬
‫حدوث الحدث بـ‪:‬‬
‫)𝐴(𝑝 ‪𝑝 𝑛𝑜𝑡 𝐴 = 1 −‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪:‬‬

‫إذا كانت النقدة غير متزنة‪ ،‬يمكن أن تقع على أحد الوجهين (الطرة مثال) بتواتر أكبر‬
‫من تواتر سقوطها الوجه اآلخر‪ .‬ليكن ‪ = 0.6‬طرة = 𝑥 𝑝‪ .‬حينئذ يكون‪:‬‬

‫‪ = 1 − 0.6 = 0.4‬طرة = 𝑥 𝑝 ‪ = 1 −‬نقش = 𝑥 𝑝‬

‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬

‫احتمال أال تكون ورقة الشدة المسحوبة ورقة ديناري يساوي‪:‬‬

‫‪ 1‬ناقص احتمال أن تكون الورقة ديناري‬

‫يوجد في أوراق الشدة ‪ 13‬ورقة ديناري‪ .‬لذا‪:‬‬

‫‪𝑝𝑛𝑜𝑡−𝑑𝑖𝑎𝑚𝑜𝑛𝑑 = 1 − 13Τ52 = 75%‬‬

 ‫المتغيرات العشوائية واالحتماالت‬

‫احتمال التقاطع أو االحتمال المشترك ‪: intersection or joint probability‬‬

‫إذا حصل الحدث 𝐴 باحتمال يساوي )𝐴(𝑃‪ ،‬والحدث 𝐵 باحتمال يساوي )𝐵(𝑃‪،‬‬
‫يعطى احتمالهما المشترك بـ )𝐵 ∩ 𝐴(𝑃‪:‬‬

‫)𝐵 ∩ 𝐴(𝑃 = 𝐵 𝑑𝑛𝑎 𝐴 𝑃 = 𝐵 ‪𝑃 𝐴,‬‬

‫وإذا كان الحدثان مستقلين عن بعضهما‪ ،‬كان‪:‬‬
‫)𝐵(𝑃 𝐴 𝑃 = 𝐵 ‪𝑃 𝐴,‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪:‬‬

‫إذا رمينا نقدتين متزنتين‪ ،‬كان احتمال أن تسقط االثنتان معا على الطرة‪:‬‬

‫‪1 1 1‬‬
‫= × = 𝐵 𝑃 𝐴 𝑃 = 𝐵 ‪𝑃 𝐴,‬‬
‫‪2 2 4‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫احتمال االختيار المتنافي ‪:Mutually exclusive‬‬
‫إذا حصل الحدث 𝐴 باحتمال يساوي )𝐴(𝑃‪ ،‬والحدث 𝐵 باحتمال يساوي )𝐵(𝑃‪،‬‬
‫يعطى احتمال االختيار الخاص بهما بـ )𝐵 ∪ 𝐴(𝑃‪.‬‬
‫وإذا كان الحدثان متنافيان‪ ،‬أي ال يحصالن معا (كرمي النقدة الذي يعطي أحد‬
‫الوجهين ال كليهما)‪:‬‬

‫)𝐵(𝑃 ‪𝑃 𝐴 𝑥𝑜𝑟 𝐵 = 𝑃 𝐴 ∪ 𝐵 = 𝑃 𝐴 +‬‬

‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪:‬‬

‫احتمال الحصول على ‪ 1‬أو ‪ 2‬حين رمي حجر نرد‪:‬‬

‫‪1 1 1‬‬
‫= ‪𝑃(1 𝑜𝑟 2) = +‬‬
‫‪6 6 3‬‬
‫ال يحصل الحدثان في آن واحد‪.‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫‪:Not Mutually exclusive‬‬ ‫احتمال االختيار المتنافي‬

‫إذا كان الحدثان غير متنافيان‪ ،‬أي يمكن أن يحصل أحدهما أو كالهما‪:‬‬

‫)𝐵 𝑑𝑛𝑎 𝐴(𝑃 ‪𝑃 𝐴 𝑜𝑟 𝐵 = 𝑃 𝐴 + 𝑃 𝐵 −‬‬

 ‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪:‬‬

‫حين سحب ورقة شدة‪ ،‬فإن احتمال كونها كبة أو صورة أو كليهما‪:‬‬

‫‪13 12 3‬‬ ‫‪11‬‬

‫= 𝑒𝑐𝑎𝑓 𝑟𝑜 𝑡𝑟𝑎𝑒‪𝑃 ℎ‬‬ ‫‪+‬‬ ‫‪−‬‬ ‫=‬
‫‪52 52 52 26‬‬
 ‫المتغيرات العشوائية واالحتماالت‬

‫االحتمال الشرطي ‪:Conditional probability‬‬

‫االحتمال الشرطي هو احتمال حدوث الحدث 𝐴 بفرض حدوث حدث آخر 𝐵‪.‬‬
‫)𝐵 ‪𝑃(𝐴,‬‬
‫= 𝐵𝐴 𝑃‬
‫)𝐵(𝑃‬
‫وإذا كان ‪ 𝑃 𝐵 = 0‬كان االحتمال الشرطي غير معرف‪.‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪:‬‬
‫اشترى ‪ 100‬شخص ‪ 100‬سيارة‪ 40 .‬منهم اشتروا سيارات مزودة بجهاز إنذار‪،‬‬
‫و ‪ 30‬شخصا اشتروا سيارات مزودة بكرسي أطفال‪ ،‬و ‪ 20‬اشتروا سيارات مزودة‬
‫بكل من جهاز اإلنذار وكرسي األطفال‪ .‬إذا انتقينا شخصا انتقاء عشوائيا كان قد‬
‫اشترى سيارة مع جهاز إنذار‪ ،‬فما احتمال أن تكون السيارة مزودة أيضا بكرسي‬
‫أطفال؟‬
 ‫‪40‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫‪20‬‬ ‫‪30‬‬

‫احتمال كون السيارة المشتراة مزودة بجهاز إنذار‪.𝑃 𝐴 = 0.4 :‬‬

‫احتمال كون السيارة المشتراة مزودة بكرسي أطفال‪.𝑃 𝐵 = 0.3 :‬‬
‫احتمال كون السيارة المشتراة مزودة بجهاز إنذار وكرسي أطفال‪:‬‬
‫‪.𝑃 𝐴 ∩ 𝐵 = 0.2‬‬
‫احتمال أن يكون الشخص الذي اشترى سيارة مزودة بجهاز إنذار قد اشترى سيارة‬
‫مزودة أيضا بكرسي أطفال‪:‬‬
‫𝐵∩𝐴 𝑃‬ ‫‪0.2‬‬ ‫‪1‬‬
‫= 𝐴 𝐵 𝑃‪.‬‬ ‫=‬ ‫=‬
‫𝐴 𝑃‬ ‫‪0.4‬‬ ‫‪2‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫ملخص االحتماالت‪:‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪:‬‬
‫حين رمي نقدتين متزنتين‪ ،‬ما احتمال الحصول على طرة واحدة على األكثر؟‬

‫الحل‪:‬‬
‫الحاالت الممكنة الكلية لرمي النقدتين‪ :‬طرة طرة‪ ،‬طرة نقش‪ ،‬نقش طرة‪ ،‬نقش نقش‪.‬‬
‫الحاالت التي تحقق المطلوب هي جميع الحاالت ما عدا حالة طرة طرة‪.‬‬
‫أي لدينا ‪ 3‬حاالت من ‪ 4‬حاالت تحقق المطلوب‪.‬‬
‫الجواب‪.0.75 :‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬
‫حين رمي نقدتين متزنتين‪ ،‬ما احتمال الحصول على طرة واحدة على األقل؟‬
‫الجواب‪.0.75 :‬‬

‫حين رمي ثالث نقدات متزنة‪ ،‬ما احتمال الحصول على طرتين على األقل؟‬
‫الجواب‪.0.5 :‬‬

‫حين رمي حجر نرد متزن‪ ،‬ما احتمال الحصول على رقم أكبر من ‪4‬؟‬
‫الجواب‪.1Τ3 :‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫أمثلة‪:‬‬
‫حين رمي حجري نرد متزنين‪ ،‬ما احتمال الحصول على رقمين مجموعهما ‪9‬؟‬
‫الجواب‪.1Τ9 :‬‬

‫يوجد في صندوق كرتان حمراوان وكرتان زرقاوان‪ .‬فإذا سحبت كرة وكانت حمراء‪،‬‬
‫ما هو احتمال سحب كرة حمراء مرة أخرى‪.‬‬
‫الجواب‪.1Τ3 :‬‬
‫المتغيرات العشوائية واالحتماالت‬

‫أمثلة‪:‬‬
‫ما احتمال أن يولد الشخص في يوم محدد من السنة؟‬
‫الجواب‪.1Τ365 :‬‬

‫ما احتمال أن يكون أحدكم قد ُو ِلد في أي يوم من السنة؟‬

‫الجواب‪.1.0 :‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪:‬‬
‫ما احتمال أن يكون واحد منكم فقط قد ُو ِلد في مثل هذا اليوم من السنة؟‬

‫الجواب‪ :‬ليكن‪،‬‬
‫‪ : 𝑝 = 1Τ365‬احتمال أن يولد الشخص في مثل هذا اليوم‪.‬‬
‫𝑝 ‪ : 1 −‬احتمال أال يكون الشخص قد ُو ِلد في مثل هذا اليوم‪.‬‬
‫𝑛 ‪ :‬عددكم‪.‬‬
‫𝑃 ‪:‬احتمال أن يكون أحدكم قد ولد في مثل هذا اليوم‪.‬‬
‫‪: 𝑃′‬احتمال أال يكون أيا منكم قد ُو ِلد في مثل هذا اليوم‪.‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫حينئذ‪:‬‬
‫‪′‬‬
‫𝑃‪𝑃 =1−‬‬
‫‪𝑃′ = (1 − 𝑝)𝑛−1‬‬
‫‪𝑃 = 1 − (1 − 𝑝)𝑛−1‬‬ ‫لذا‪:‬‬
‫)𝑃 ‪𝑛 = 1 − 839.3 log(1 −‬‬

‫من أجل ‪ ،𝑃 = 0.5‬نجد أن ‪.𝑛 ≈ 253‬‬

‫المتغيرات العشوائية واالحتماالت‬
‫𝑛‬ ‫𝑃‬
‫‪25‬‬ ‫‪0.0637‬‬
‫‪39‬‬ ‫‪0.1‬‬
‫‪82‬‬ ‫‪0.2‬‬
‫‪253‬‬ ‫‪0.5‬‬
‫‪334‬‬ ‫‪0.6‬‬
‫‪840‬‬ ‫‪0.9‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫مثال‪ :‬لغز يوم الميالد‬
‫يوجد في صف 𝑛 طالبا‪ .‬ما احتمال أن يكون بينهم طالبان على األقل‬
‫لهما نفس يوم الميالد؟‬

‫الجواب‪:‬‬
‫)‪𝑛(𝑛−1‬‬
‫‪−‬‬
‫𝑒‪1−‬‬ ‫𝑁×‪2‬‬
‫حيث ‪.𝑁 = 365‬‬
‫‪https://en.wikipedia.org/wiki/Birthday_problem#Calculating_the_probability‬‬
‫المتغيرات العشوائية واالحتماالت‬
‫‪1‬‬
‫= 𝑝‪ :‬احتمال والدة الشخص في يوم من أيام السنة‪.‬‬
‫‪365‬‬
‫𝑛 ‪ :‬عدد األشخاص‬
‫𝑃 ‪ :‬احتمال أن يكون ثمة اثنين أو أكثر لهما نفس يوم الميالد‪.‬‬
‫‪ : 𝑃′‬احتمال أن يكون لجميع األشخاص أيام ميالد مختلفة‪.‬‬

‫‪𝑃 = 1 − 𝑃′‬‬
 ‫المتغيرات العشوائية واالحتماالت‬

‫احتمال أن يكون للجميع أيام ميالد مختلفة ‪ 𝑃′‬يكافئ أال يكون للشخص الثاني نفس يوم‬
‫ميالد الشخص األول‪ ،‬وأال يكون للشخص الثالث نفس يوم ميالد الشخص األول أو‬
‫الثاني‪ ...‬وهكذا حتى الشخص رقم 𝑛 الذي يجب أن يكون يوم ميالده مختلفا عن أيام‬
‫ميالد جميع اآلخرين‪.‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫احتمال أال يكون للشخص الثاني نفس يوم ميالد الشخص األول‪.(1 − 𝑝) :‬‬
‫احتمال أال يكون للشخص الثالث نفس يومي ميالد الشخصين األول والثاني هو‪:‬‬
‫)𝑝‪.(1 − 2‬‬
‫احتمال أال يكون للشخص الرابع نفس أيام ميالد األشخاص األول والثاني والثالث هو‪:‬‬
‫)𝑝‪.(1 − 3‬‬
‫احتمال أال يكون للشخص رقم )𝑛( نفس أيام ميالد الـ )‪ (𝑛 − 1‬شخصا اآلخرين‬
‫هو‪:‬‬
‫)𝑝)‪.(1 − (𝑛 − 1‬‬
 ‫المتغيرات العشوائية واالحتماالت‬
‫ومنه يكون‪:‬‬

‫)𝑝)‪𝑃′ = 1 − 𝑝 (1 − 2𝑝)(1 − 3𝑝) ⋯ (1 − (𝑛 − 1‬‬

‫‪𝑛−1‬‬
‫)‪𝑛(𝑛−1‬‬
‫‪′‬‬ ‫‪−‬‬
‫< )𝑝𝑖 ‪𝑃 = ෑ(1 −‬‬ ‫𝑁‪𝑒 2‬‬
‫‪𝑖=1‬‬
‫حيث ‪.𝑁 = 365‬‬
‫)𝑛(𝑝 𝑛‬
‫المتغيرات العشوائية واالحتماالت‬

‫ويكون احتمال وجود شخصين على األقل لهما نفس يوم الميالد ضمن 𝑛‬
‫شخصا هو‪:‬‬

‫)‪𝑛(𝑛−1‬‬
‫‪−‬‬
‫‪𝑃 ≈ 1 − 𝑃′ > 1 −‬‬ ‫𝑁‪𝑒 2‬‬

‫عندما ‪.𝑃 ≈ 0.5 ،𝑛 = 23‬‬

‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية‬
‫المعلومات الذاتية والغموض‬
‫‪Self Information & Uncertainty‬‬
‫أمثلة‪:‬‬

‫• كتب شخص رسالة مساء األحد تقول‪ :‬غدا هو يوم اإلثنين‪.‬‬

‫• كتب شخص رسالة الساعة الرابعة مساء من ليلة رأس السنة الميالدية تقول‪:‬‬
‫بعد ساعة تحل العتمة‪.‬‬
‫• كتب شخص رسالة تقول‪ :‬من المتوقع أن يكون يوم غد ماطرا‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫• المعلومات الذاتية تنطوي على مفاجأة‪ :‬أنت ال تعرف سلفا أن الحدث‬
‫العشوائي سوف يحصل‪.‬‬
‫• تعتمد المعلومات الذاتية على احتمال حصول الحدث‪.‬‬
‫• إذا كان احتمال حصول الحدث يساوي ‪ ،%100‬فإن حصول الحدث ال‬
‫يقدم أي معلومات‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬

‫المعلومات الذاتية‬

‫• كلما كان احتمال حصول الحدث أقل‪ ،‬انطوى ذلك على ريبة أكبر‬
‫وغموض أشد في حصوله‪.‬‬
‫• كلما كان الغموض أشد في الحدث‪ ،‬انطوى ذلك على وجود معلومات‬
‫ذاتية أكبر فيه‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫مثال‪:‬‬
‫• إذا رميت قطعة نقدية متزنة‪ ،‬ساوى احتمال سقوطها على أي من وجهيها‪ ،‬أي‬
‫على الطرة أو النقش ‪.0.5‬‬
‫• قبل رؤية النقدة بعد سقوطها‪ ،‬تكون نتيجة الرمي غامضة‪.‬‬
‫• إذا اتفقت مع صديقك على أن النقش يعني أنك سوف تزوره‪ ،‬وأن الطرة تعني‬
‫العكس‪ ،‬فإن نتيجة رمي النقدة هي معلومة تقدمها إلى صديقك‪.‬‬
‫• نظرا إلى أن عدد حاالت النقدة يساوي ‪ ،2‬تحمل نتيجة رميها معلومتين فقط‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫مثال‪:‬‬
‫• إذا رميت حجر نرد متزن‪ ،‬ساوى احتمال سقوطه على أي من أوجهه الستة‬
‫سدس واحد‪.‬‬ ‫ُ‬
‫• إذا اتفقت مع صديقك على التراسل معه بواسطة حجر النرد‪ ،‬وأن لكل رقم‬
‫معنى ما‪ ،‬أمكنك إرسال ‪ 6‬معلومات مختلفة له‪.‬‬
‫كلما ازداد عدد الحاالت‪ ،‬قل احتمال كل حالة وازداد غموضها وازداد مقدار‬
‫المعلومات التي تنطوي عليها‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬

‫المعلومات الذاتية‬

‫مقدار المعلومات الذاتية المحتواة في رسالة تُع ِلم عن حدث 𝑥 هو تابع ما )‪𝑓(.‬‬
‫يعتمد على احتمال حصول الحدث فقط‪:‬‬

‫)𝑥(𝑃 𝑓 = 𝑥 𝐼‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫يحقق التابع )‪ 𝑓(.‬الفرضيتين التاليتين‪:‬‬

‫‪ -1‬يجب أن يتناقص )𝑥(𝐼 مع ازدياد 𝑥 𝑃‪ :‬فكلما كان الحدث أعلى احتماال‪ ،‬أعطانا حصوله‬
‫معلومات أقل‪ .‬وعندما يكون احتمال حدوثه يساوي ‪ ،1‬فإن حدوثه ال يعطينا أي معلومة‪ .‬أي‪:‬‬

‫‪𝑃(𝑥) = 1 → 𝐼 𝑥 = 0‬‬
‫‪𝑃(𝑥) < 1 → 𝐼 𝑥 > 0‬‬

‫عندما يكون معروفا أن الحدث سوف يحصل‪ ،‬ال يقدم حدوثه أي معلومة جديدة‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫‪ -2‬إذا كان الحدثان 𝒙 و ‪ y‬مستقالن عن بعضهما‪ ،‬كان‪:‬‬

‫)𝑦(𝐼 ‪𝐼 𝑥, 𝑦 = 𝐼 𝑥 +‬‬

‫من الطبيعي للمحتوى المعلوماتي لحدوث حدثين مستقلين أن يساوي مجموع‬

‫المحتويين المعلومياتيين فيهما‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫التابع الوحيد الذي يحقق الفرضيتين السابقتين هو التابع اللوغارتمي‪:‬‬
‫‪1‬‬
‫‪𝐼 𝑥 = log‬‬ ‫𝑥 𝑃 ‪= − log‬‬
‫𝑥 𝑃‬
‫)‪log(α‬‬
‫‪0‬‬ ‫‪α‬‬
‫‪1‬‬
‫استعار شانون هذه الصيغة من علم الميكانيك اإلحصائي‪ .‬ففي سبعينيات‬
‫القرن التاسع عشر‪ ،‬وضع لودفيغ بولتسمان ‪ Ludwig Boltzmann‬هذه‬
‫الصيغة للتعبير عن الغموض في حالة منظومة ميكانيكية مكونة من‬
‫أجزاء مكروية‪ ،‬ومن أمثلة تلك المنظومة جزيئات الغاز‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫يق ّدر 𝑥 𝐼 ‪:‬‬

‫بالبت حين أخذ ‪ 2‬أساسا للوغاريتم‪،‬‬
‫بالواحدة الطبيعية أو النيبر حين أخذ ‪ e‬أساسا للوغاريتم‪،‬‬
‫بالعدد العشري حين أخذ ‪ 10‬أساسا للوغاريتم‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬

‫المعلومات الذاتية‬

‫يُسمى 𝒙 𝑰 معلومات ذاتية أو مفا َجأة بعد وقوع الحدث‪.‬‬

‫وغموض قبل وقوع الحدث‪ ،‬ونرمز له بـ 𝒙 𝒉‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫• الغموض‪ :‬الغموض واإلبهام والشك في نتيجة الحدث قبل حدوثه‪.‬‬

‫• المعلومات الذاتية‪ :‬هي المعلومات التي نحصل عليها بعد وقوع الحدث‪.‬‬

‫ال معنى للمعلومات قبل وقوع الحدث‬

‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫مثال‪:‬‬
‫إذا سحبنا ورقة من الشدة‪ ،‬فإن احتمال كونها أي ورقة من الـ ‪ 52‬ورقة يساوي‪:‬‬
‫𝟏‬
‫= 𝑥 𝑃‬
‫‪52‬‬
‫ولذا تكون ريبتنا بالنتيجة قبل رؤيتها‪:‬‬
‫‪1‬‬
‫‪ℎ 𝑥 = −log 2‬‬ ‫𝑡𝑖𝑏 ‪= log 2 52 = 5.7‬‬
‫‪52‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫مثال‪:‬‬
‫إذا سحبنا ورقة من الشدة‪ ،‬فإن احتمال كونها ورقة حمراء يساوي‪:‬‬
‫𝟏‬
‫= 𝑥 𝑃‬
‫‪2‬‬
‫ولذا يكون‪:‬‬
‫‪1‬‬
‫𝑡𝑖𝑏 ‪ℎ 𝑥 = −log 2 = log 2 2 = 1‬‬
‫‪2‬‬

‫نقصت القيمة عن المثال السابق‪ .‬لماذا؟‬

‫إذا سحبنا ورقة ديناري يصبح الغموض أو المعلومة الذاتية أو المفاجأة ‪ 2‬بت‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫مثال‪:‬‬
‫حين رمي نقدة متزنة‪ ،‬يساوي احتمال النقش 𝟐‪ .𝟏Τ‬وتساوي الغموض أو المعلومة الذاتية‬
‫أو المفاجأة فيها‪:‬‬

‫‪1‬‬
‫‪ℎ 𝑥 = log 2‬‬ ‫𝑡𝑖𝑏 ‪= log 2 2 = 1‬‬
‫‪0.5‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬

‫المعلومات الذاتية‬

‫مثال‪:‬‬
‫حين رمي حجر نرد متزن‪ ،‬يساوي احتمال الوقوع على الرقم ثالثة 𝟔‪ .𝟏Τ‬ويساوي الغموض‬
‫أو المعلومة الذاتية أو المفاجأة فيها‪:‬‬

‫‪1‬‬
‫𝑡𝑖𝑏 ‪ℎ 𝑥 = −log 2 = 2.585‬‬
‫‪6‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫مثال‪:‬‬
‫حين رمي حجري نرد متزنين‪ ،‬يساوي احتمال الوقوع على الرقمين ثالثة و خمسة 𝟔𝟑‪.𝟏Τ‬‬
‫وتساوي الغموض أو المعلومة الذاتية أو المفاجأة فيها‪:‬‬

‫‪1‬‬
‫‪ℎ(3 𝑎𝑛𝑑 5) = 𝐼(3 𝑎𝑛𝑑 5) = −log 2‬‬ ‫𝑡𝑖𝑏 ‪= 5.17‬‬
‫‪36‬‬
‫لو نظرنا إلى الغموض في كل حجر على حدة وجدنا‪:‬‬
‫‪ℎ 3 𝑎𝑛𝑑 5 = ℎ 3 + ℎ 5‬‬
‫‪1‬‬ ‫‪1‬‬
‫𝑡𝑖𝑏 ‪= −log 2 − log 2 = 2.585 × 2 = 5.17‬‬
‫‪6‬‬ ‫‪6‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫أمثلة‪:‬‬
‫حين رمي حجري نرد متزنين‪ ،‬ما مقدار الغموض في أن يساوي مجموع رقمي الحجرين ‪7‬؟‬

‫الحاالت التي يكون فيها المجموع ‪}4،3{ ،}3،4{ ،}5،2{ ،}2،5{ ،}6،1{ ،}1،6{ :7‬‬
‫‪6‬‬
‫= 𝑥 𝑃‬
‫‪36‬‬
‫‪1‬‬
‫𝑡𝑖𝑏 ‪ℎ 𝑥 = −log 2 = 2.585‬‬
‫‪6‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫أمثلة‪:‬‬
‫ما هو مقدار المعلومات الذاتية التي تحملها ‪ 8‬رموز مستقلة عن بعضها؟‬
‫‪1‬‬
‫= 𝑥 𝑃‬
‫‪8‬‬
‫‪1‬‬
‫𝑡𝑖𝑏 ‪𝐼 𝑥 = −log 2 = log 2 8 = 3‬‬
‫‪8‬‬

‫ما هو مقدار المعلومات التي يحملها 𝑴𝟐 رمزا مستقال؟‬

‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫أمثلة‪:‬‬
‫أرسلنا رسالة على قناة اتصال تسبب أخطاء نقل بمعدل 𝟏𝟎𝟎‪ .𝟎.‬ما هو مقدار ريبتنا بكون‬
‫الرسالة المستقبلة صحيحة؟‬

‫احتمال أن تكون الرسالة المستقبلة صحيحة يساوي ‪0.999‬‬

‫𝑡𝑖𝑏 ‪ℎ 𝑥 = −log 2 0.999 ≈ 0.0014‬‬

‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫أمثلة‪:‬‬
‫ما مقدار الغموض في هطول الثلج في فصل الصيف في دمشق إذا كان احتمال حصول هذا‬
‫الحدث يساوي ‪ 1‬من مليار؟‬

‫𝑡𝑖𝑏 ‪ℎ 𝑥 = −log 2 10−9 = 9 log 2 10 ≈ 30‬‬

‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات الذاتية والغموض‬ ‫المعلومات الذاتية‬

‫أمثلة‪:‬‬
‫ما مقدار الغموض في هطول الثلج في ليلة رأس السنة في موسكو إذا كان احتمال حصول‬
‫هذا الحدث يساوي ‪%99‬؟‬

‫𝑡𝑖𝑏 ‪ℎ 𝑥 = −log 2 0.99 = 0.0145‬‬

‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫الغموض المشروط‬
‫أمثلة‪:‬‬
‫• ما مقدار الغموض أو الريبة في إمكان هطول المطر في دمشق إذا علمنا أننا في‬
‫شباط؟‬
‫• ما مقدار الغموض أو الريبة في حصول حادث سير إذا كانت سرعة السارة أكبر‬
‫من ‪ 150‬كم في الساعة؟‬
‫• ما مقدار الغموض أو الريبة في إمكان حصولك على جائزة اليانصيب الكبرى إذا‬
‫لم تكن قد اشتريت ورقة يانصيب؟‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫الغموض المشروط‬

‫الغموض في حصول الحدث 𝑥 إذا علمنا أن الحدث ‪ y‬قد حصل يعطى بـ‪:‬‬
‫𝑦 𝑥 𝑃 ‪ℎ 𝑥 𝑦 = − log‬‬
‫حيث‪:‬‬
‫𝑦∩𝑥 𝑃‬
‫= 𝑦𝑥 𝑃‬
‫𝑦 𝑃‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫الغموض المشروط‬
‫مثال‪:‬‬
‫ما مقدار الغموض في سحب بنت الكبة إذا علمنا أن الورقة المسحوبة هي ورقة كبة؟‬

‫طريقة حل أولى‪:‬‬
‫الورقة المسحوبة هي ورقة كبة‪ .‬وبنت الكبة هي ورقة من ‪ 13‬ورقة‪:‬‬

‫‪1‬‬
‫= 𝑥 ‪ℎ‬‬ ‫‪−log 2‬‬ ‫𝑡𝑖𝑏 ‪= 3.7‬‬ ‫لذا‪:‬‬
‫‪13‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫الغموض المشروط‬
‫طريقة حل ثانية‪:‬‬
‫𝑡𝑟𝑎𝑒‪𝑃 𝑞𝑢𝑒𝑒𝑛 ∩ ℎ‬‬
‫= 𝑡𝑟𝑎𝑒‪𝑃 𝑞𝑢𝑒𝑒𝑛 ℎ‬‬
‫𝑡𝑟𝑎𝑒‪𝑃 ℎ‬‬
‫‪1‬‬
‫𝑡𝑟𝑎𝑒‪𝑃 𝑞𝑢𝑒𝑒𝑛 ∩ ℎ‬‬ ‫‪52‬‬ ‫‪4‬‬
‫‪ℎ 𝑞𝑢𝑒𝑒𝑛 ℎ𝑒𝑎𝑟𝑡 = −log 2‬‬ ‫‪= −log 2‬‬ ‫‪= −log 2‬‬
‫𝑡𝑟𝑎𝑒‪𝑃 ℎ‬‬ ‫‪1‬‬ ‫‪52‬‬
‫‪4‬‬
‫𝑡𝑖𝑏 ‪= 3.7‬‬
‫قلصت معرفة أن الورقة المسحوبة هي ورقة كبة الغموض في سحب بنت الكبة‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫الغموض المشروط‬
‫مثال‪:‬‬
‫احتمال ظهور حرف األلف في النصوص العربية يساوي‪ %15 :‬تقريبا‪.‬‬
‫احتمال ظهور حرف الالم في النصوص العربية يساوي‪ %9 :‬تقريبا‪.‬‬
‫ما مقدار الغموض في كون الحرف التالي هو الم إذا كان الحرف السابق هو ألف؟‬

‫الم ∩ ألف 𝑃‬
‫= ألف الم 𝑃‬
‫الم 𝑃‬
‫النسبة المئوية‬ ‫النسبة المئوية الحرف‬ ‫النسبة المئوية الحرف‬ ‫الحرف‬
‫‪0.81‬‬ ‫ص‬ ‫‪2.83‬‬ ‫ب‬ ‫‪18.78‬‬ ‫الفراغ‬
‫‪0.8‬‬ ‫ط‬ ‫‪2.61‬‬ ‫ع‬ ‫‪15.45‬‬ ‫ا‬
‫‪0.74‬‬ ‫خ‬ ‫‪2.28‬‬ ‫ف‬ ‫‪9.22‬‬ ‫ل‬
‫‪0.72‬‬ ‫ش‬ ‫‪2.19‬‬ ‫د‬ ‫‪6.5‬‬ ‫ي‬
‫‪0.61‬‬ ‫ض‬ ‫‪1.78‬‬ ‫ق‬ ‫‪5.13‬‬ ‫هـ‬
‫‪0.5‬‬ ‫ث‬ ‫‪1.75‬‬ ‫س‬ ‫‪4.78‬‬ ‫م‬
‫‪0.47‬‬ ‫ز‬ ‫‪1.72‬‬ ‫ك‬ ‫‪4.51‬‬ ‫و‬
‫‪0.34‬‬ ‫غ‬ ‫‪1.6‬‬ ‫ح‬ ‫‪4.41‬‬ ‫ن‬
‫‪0.237‬‬ ‫ظ‬ ‫‪1.15‬‬ ‫ج‬ ‫‪3.81‬‬ ‫ت‬
‫‪0.884‬‬ ‫ذ‬ ‫‪3.37‬‬ ‫ر‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫الغموض المشروط‬
‫ال تظهر األحرف في اللغات الطبيعية‪ ،‬ومنها اللغة العربية‪ ،‬بنفس االحتمال‪ .‬إال أننا يمكن أن‬
‫نعتبر أن احتمال ظهور كل من األلف والالم (كل على حدة) يساوي وسطي احتمالي ظهورهما‬
‫الفعليين تقريبا‪ .‬أي‪:‬‬
‫‪0.15+0.9‬‬
‫≈ ألف ∩ الم 𝑃‬ ‫‪= 0.12‬‬
‫‪2‬‬
‫ألف ∩ الم 𝑃‬ ‫‪0.12‬‬
‫‪ ≈ −log 2‬ألف الم ‪ℎ‬‬ ‫‪= −log 2‬‬ ‫𝑡𝑖𝑏 ‪= 0.32‬‬
‫ألف 𝑃‬ ‫‪0.15‬‬
‫غموض منخفض!‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫الغموض المشروط‬
‫تقريب‬
‫خشن‬ ‫مثال‪:‬‬
‫احتمال ظهور حرف األلف في النصوص العربية يساوي‪ %15 :‬تقريبا‪.‬‬
‫احتمال ظهور حرف الذال في النصوص العربية يساوي‪ %0.88 :‬تقريبا‪.‬‬
‫ما مقدار الغموض في كون الحرف التالي هو ذال إذا كان الحرف السابق هو ألف؟‬

‫‪0.0088 + 0.15‬‬
‫≈ ألف ∩ ذال 𝑃‬ ‫‪≈ 0.08‬‬
‫‪2‬‬
‫ألف ∩ الل 𝑃‬ ‫‪0.08‬‬
‫‪ ≈ −log 2‬ألف ذال ‪ℎ‬‬ ‫‪= −log 2‬‬ ‫𝑡𝑖𝑏 ‪≈ 0.9‬‬
‫ألف 𝑃‬ ‫‪0.15‬‬
‫ازداد الغموض‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬
‫𝑥‬
‫𝑥 𝐼‬ ‫المعلومات المشتركة‬
‫𝑦‬ ‫‪mutual information‬‬
‫𝑦 ‪𝐼 𝑥,‬‬

‫𝑦 𝐼‬
‫𝑦‬
‫• المعلومات المشتركة بين متغيرين عشوائيين هي مقياس العتماد كل منهما‬
‫على اآلخر‪ .‬أي إنها تمثل مقدار المعلومات التي نحصل عليها عن متغير‬
‫عشوائي من خالل معرفتنا بالمتغير اآلخر‪.‬‬
‫• تعبر المعلومات المشتركة عن انخفاض الغموض في حدث ما نتيجة للمعلومات‬
‫المشتركة التي يوفرها حدث آخر‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫مثال‪:‬‬
‫• في غوغل مثال‪ ،‬تُستعمل المعلومات المشتركة بين النصوص ومضامينها‬
‫إلعطاء أفضل نتائج البحث‪.‬‬
‫• حين رمي حجر النرد‪ ،‬يمكن اعتبار رمي الحجر حدثا أوال‪ ،‬وكون النتيجة‬
‫مفردة حدثا ثانيا‪ .‬ومن الواضح أن ثمة معلومات مشتركة بين الحدثين‪.‬‬
‫• من صورة رنين مغنطيسي وصورة إيكو يمكن تشخيص مرض‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات النقطية المشتركة‬

‫المعلومات المشتركة‬
‫‪point mutual information‬‬
‫المعلومات النقطية المشتركة )𝑦‪ :𝑃𝑀𝐼(𝑥,‬مقدار المعلومات التي نحصل‬
‫عليها عن متغير عشوائي 𝑥 من خالل معرفتنا بمتغير آخر 𝑦 في حدث‬
‫منفرد‪:‬‬
‫)𝑦 ‪𝑃(𝑥,‬‬
‫‪𝑃𝑀𝐼 𝑥, 𝑦 = log‬‬
‫)𝑦(𝑃 𝑥 𝑃‬
‫𝑦𝑥 𝑃‬ ‫𝑥𝑦 𝑃‬
‫‪= log‬‬ ‫‪= log‬‬
‫𝑥 𝑃‬ ‫)𝑦(𝑃‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬

‫𝑦 ‪𝑃𝑀𝐼 𝑥, 𝑦 = ℎ 𝑥 + ℎ 𝑦 − ℎ 𝑥,‬‬
‫𝑦 𝑥 ‪=ℎ 𝑥 −ℎ‬‬
‫𝑥 𝑦 ‪=ℎ 𝑦 −ℎ‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬
‫مثال‪:‬‬
‫من مثالي بنت الكبة السابقين‪ ،‬ما المعلومات المشتركة بين سحب بنت كبة وكون الورقة‬
‫المسحوبة ورقة كبة تساوي ‪:‬‬

‫احتمال أن تكون الورقة المسحوبة بنت كبة يساوي ‪𝑃 𝑥 = 1Τ52‬‬

‫احتمال أن تكون الورقة المسحوبة بنت يساوي ‪𝑃 𝑥 = 1Τ13‬‬
‫احتمال أن تكون الورقة المسحوبة كبة يساوي ‪𝑃 𝑥 = 1Τ4‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬
‫𝑦 𝑥 ‪𝑃𝑀𝐼(𝑥, 𝑦) = ℎ 𝑥 − ℎ‬‬
‫‪1‬‬
‫‪ℎ 𝑥 = − log‬‬ ‫𝑡𝑖𝑏 ‪= 5.7‬‬
‫‪52‬‬

‫‪1‬‬
‫𝑦 ‪𝑃 𝑥,‬‬ ‫‪52‬‬ ‫‪4‬‬
‫‪ℎ 𝑥 𝑦 = −log 2‬‬ ‫‪= −log 2‬‬ ‫‪= −log 2‬‬ ‫𝑡𝑖𝑏 ‪= 3.7‬‬
‫𝑦 𝑃‬ ‫‪1‬‬ ‫‪52‬‬
‫‪4‬‬
‫𝑡𝑖𝑏 ‪𝑃𝑀𝐼 𝑥, 𝑦 = 5.7 − 3.7 = 2‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬
‫إذا كان الحدثان 𝒙 و 𝒚 مستقالن عن بعضهما‪:‬‬

‫)𝑦(‪ℎ 𝑥, 𝑦 = ℎ 𝑥 + ℎ‬‬
‫ولذا‪:‬‬
‫)𝑦(‪𝑃𝑀𝐼 𝑥, 𝑦 = ℎ 𝑥 + ℎ 𝑦 − ℎ 𝑥 − ℎ‬‬
‫‪=0‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬

‫مثال‪:‬‬
‫ما مقدار المعلومات المشتركة بين وقوع حجر نرد متزن في رمية أولى على ‪2‬‬
‫وفي رمية ثانية على ‪ 2‬أيضا؟‬

‫نظرا إلى أن نتائج رمي حجر النرد مستقلة بعضا عن بعض‪ ،‬تساوي المعلومات‬
‫المشتركة بين نتائج الرميات المتتالية صفرا‪.‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬
‫مثال‪:‬‬
‫في نص عربي مكون من مليون كلمة‪ ،‬ظهر الكلمة ’في‘ ‪ 276‬مرة‪ ،‬وظهرت‬
‫الكلمة السنة ‪ 136‬مرة‪ .‬وظهرت الكلمتان معا ‪ 96‬مرة‪ .‬ما مقدار المعلومات‬
‫المشتركة بين ظهور الكلمتين؟‬
‫‪276‬‬
‫= 𝑥 𝑃‬ ‫احتمال ظهور ’في‘‪:‬‬
‫‪1000000‬‬
‫‪136‬‬
‫= 𝑦 𝑃‬ ‫احتمال ظهور ’السنة‘‪:‬‬
‫‪1000000‬‬
‫‪96‬‬
‫= 𝑦∩𝑥 𝑃‬ ‫احتمال تقاطع الظهور‪:‬‬
‫‪1000000‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬
‫𝑦 ‪𝑃 𝑥,‬‬ ‫‪96‬‬
‫= 𝑦𝑥 𝑃‬ ‫=‬
‫𝑦 𝑃‬ ‫‪136‬‬
‫𝑦 ‪𝑃 𝑥,‬‬ ‫‪96‬‬
‫= 𝑥𝑦 𝑃‬ ‫=‬
‫𝑥 𝑃‬ ‫‪276‬‬
‫‪ℎ 𝑥 = − log 𝑃 𝑥 = − log 276 + 19.93‬‬
‫‪ℎ 𝑦 = − log 𝑃 𝑦 = − log 136 + 19.93‬‬
‫‪96‬‬
‫‪ℎ 𝑥 𝑦 = − log 𝑃 𝑥 𝑦 = −log‬‬
‫‪136‬‬
‫‪96‬‬
‫‪ℎ 𝑦 𝑥 = − log 𝑃 𝑦 𝑥 = −log‬‬
‫‪276‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬

‫𝑦 𝑥 ‪𝑃𝑀𝐼 𝑥,𝑦 = ℎ 𝑥 − ℎ‬‬

‫‪96‬‬
‫‪= − log 276 + 19.93 + log‬‬
‫‪136‬‬
‫‪96‬‬
‫‪= 19.93 + log‬‬ ‫𝑡𝑖𝑏 ‪= 11.32‬‬
‫‪136×276‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫المعلومات المشتركة‬
‫المعلومات المشتركة النقطية‬
‫مثال‪:‬‬
‫في المثال السابق‪ ،‬لو ظهرت الكلمتان مع مرتين فقط‪ ،‬ما مقدار المعلومات‬
‫المشتركة حينئذ؟‬
‫نبدل العدد ‪ 96‬في الحل السابق بالعدد ‪:2‬‬
‫𝑦 𝑥 ‪𝑃𝑀𝐼 𝑥, 𝑦 = ℎ 𝑥 − ℎ‬‬
‫‪2‬‬
‫‪= − log 276 + 19.93 + log‬‬
‫‪136‬‬
‫‪2‬‬
‫‪= 19.93 + log‬‬ ‫𝑡𝑖𝑏 ‪= 5.7‬‬
‫‪136×276‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫ملخص‬
‫المعلومات الذاتية 𝑥 𝐼‪:‬‬

‫كمية المعلومات التي يمكن أن يحملها أو يُعبّر عنها المتغير𝑥‪ .‬كلما كان المتغير‬
‫العشوائي غامضا خبَّأ معلومات أكثر يمكن أن تنجلي حين حدوثه‪ .‬وكلما كان أكثر‬
‫جالء انطوى على معلومات أقل‪ .‬والمتغير الذي ال يتخذ سوى قيمة واحدة ال يعبر‬
‫عن أي معلومة جديدة‪.‬‬
‫‪1‬‬
‫‪𝐼 𝑥 = log‬‬ ‫𝑥 𝑃 ‪= − log‬‬
‫𝑥 𝑃‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫ملخص‬
‫المعلومات النقطية المشتركة )𝑦‪:𝑃𝑀𝐼(𝑥,‬‬
‫مقدار المعلومات التي نحصل عليها عن متغير عشوائي 𝑥 من خالل معرفتنا بمتغير‬
‫آخر 𝑦 في حدث منفرد‪:‬‬
‫𝑦 𝑥 ‪𝑃𝑀𝐼 𝑥, 𝑦 = ℎ 𝑥 − ℎ‬‬
‫𝑥 𝑦 ‪𝑃𝑀𝐼 𝑥, 𝑦 = ℎ 𝑦 − ℎ‬‬
‫𝑦 ‪𝑃𝑀𝐼 𝑥, 𝑦 = ℎ 𝑥 + ℎ 𝑦 − ℎ 𝑥,‬‬
‫𝑦 ‪ℎ 𝑥,𝑦 = ℎ 𝑥 𝑦 + ℎ‬‬
‫𝑥 ‪ℎ 𝑥,𝑦 = ℎ 𝑦 𝑥 + ℎ‬‬
‫مدخل مبسط إلى مفاهيم نظرية المعلومات األساسية‬

‫ملخص‬

‫الغموض المشروط‪:‬‬

‫هو الغموض في حصول حدث 𝑥 إذا علمنا أن حدثا ‪ y‬قد حصل‪.‬‬

 ‫‪Entropy‬‬ ‫اإلنتروبي‬
‫مجموعة من 𝑛 حدثا احتماالت حصولها 𝑛𝑝 ⋯ ‪ .𝑝1 ,𝑝2 ,‬ما مقدار الحرية في اختيار‬
‫أحدها‪ ،‬أو ما مقدار ارتيابنا في الحصول على النتيجة؟‬

‫مثال‪ :‬افترض أن لدينا ‪ 3‬أحداث‪،‬‬

‫‪1‬‬
‫= ‪.𝑝1‬‬ ‫الحدث األول هو سحب ورقة حمراء من الشدة‪:‬‬
‫‪2‬‬
‫‪1‬‬
‫= ‪.𝑝2‬‬ ‫الحدث الثاني هو سحب ورقة بستوني من الشدة‪:‬‬
‫‪4‬‬
‫‪1‬‬
‫= ‪.𝑝3‬‬ ‫الحدث الثالث هو سحب ورقة ديناري من الشدة‪:‬‬
‫‪4‬‬
 ‫اإلنتروبي‬

‫مثال‪ :‬افترض أن لدينا ‪ 3‬أحداث‪،‬‬

‫‪1‬‬
‫• الحدث األول ‪ 𝑥1‬هو سحب ورقة حمراء من الشدة‪.𝑝1 = :‬‬
‫‪2‬‬
‫• الحدث الثاني ‪ 𝑥2‬هو سحب ورقة بستوني من شدة تحتوي على أوراق بستوني‬
‫‪1‬‬
‫وديناري وكبة فقط‪.𝑝2 = :‬‬
‫‪3‬‬
‫‪1‬‬
‫= ‪.𝑝3‬‬ ‫• الحدث الثالث ‪ 𝑥3‬هو وقوع حجر نرد على الوجه ‪:5‬‬
‫‪6‬‬
 ‫اإلنتروبي‬
‫الغموض في الحدث األول‪:‬‬
‫‪1‬‬
‫= ‪𝑃 𝑥1‬‬ ‫‪→ ℎ 𝑥1‬‬ ‫𝑡𝑖𝑏 ‪= log 2 = 1‬‬
‫‪2‬‬
‫الغموض في الحدث الثاني‪:‬‬
‫‪1‬‬
‫= ‪𝑃 𝑥2‬‬ ‫‪→ ℎ 𝑥2‬‬ ‫𝑡𝑖𝑏 ‪= log 3 = 1.585‬‬
‫‪3‬‬
‫الغموض في الحدث الثالث‪:‬‬
‫‪1‬‬
‫= ‪𝑃 𝑥3‬‬ ‫‪→ ℎ 𝑥3‬‬ ‫𝑡𝑖𝑏 ‪= log 6 = 2.585‬‬
‫‪6‬‬
 ‫اإلنتروبي‬
‫القيمة الوسطى للغموض في اختيار األحداث الثالثة هي مجموع غموضاتها مثقلة‬
‫باحتماالتها‪:‬‬

‫‪𝐻 𝑥1 , 𝑥2 , 𝑥3 = 𝑝 𝑥1 ℎ 𝑥1 + 𝑝 𝑥2 ℎ 𝑥2 + 𝑝 𝑥3 ℎ 𝑥3‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫‪= ℎ 𝑥1 + ℎ 𝑥2 + ℎ 𝑥3‬‬
‫‪2‬‬ ‫‪3‬‬ ‫‪6‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫𝑡𝑖𝑏 ‪𝐻 𝑋 = × 1 + × 1.585 + × 2.585 = 1.46‬‬
‫‪2‬‬ ‫‪3‬‬ ‫‪6‬‬
 ‫اإلنتروبي‬
‫اإلنتروبي‪:‬‬
‫هو القيمة الوسطى للغموضات في قيم المتغير العشوائي‪.‬‬

‫نسمي 𝑋 𝐻 إنتروبي المتغير العشوائي 𝑋 ذي القيم 𝑛𝑥 ⋯ ‪ 𝑥1 ,𝑥2 ,‬التي تحصل‬

‫باحتماالت 𝑖𝑥 = 𝑋 𝑃 = 𝑖𝑝‪ .‬وهو يمثل االرتياب الوسطى في نتائج حصول‬
‫الحدث 𝑛 ⋯ ‪. 𝑋 = 𝑥𝑖 , 𝑖 = 1,2‬‬
 ‫اإلنتروبي‬
‫القيمة الوسطى لمجموعة من المتغيرات 𝜔 ⋯ ‪:𝛼, 𝛽,‬‬
‫)𝜔(𝑝 𝜔 ‪𝜇 = 𝛼 𝑝 𝛼 + 𝛽 𝑝 𝛽 + ⋯ +‬‬

‫وعموما‪ ،‬إذا اتخذ المتغير 𝑋 قيما مختلفة 𝑛 ⋯ ‪ 𝑥𝑖 , 𝑖 = 1,2‬باحتماالت‬

‫𝑛 ⋯ ‪ ، 𝑃 = 𝑝𝑖 , 𝑖 = 1,2‬فإن القيمة الوسطى لـ 𝑋 تعطى بـ‪:‬‬
‫)𝑥(𝑃 𝑥 ‪𝜇 = ෍‬‬
‫𝑥‬
 ‫اإلنتروبي‬

‫لذا يُعطى اإلنتروبي بـ‪:‬‬

‫𝑛‬

‫) 𝑖𝑥(𝑝 ‪𝐻 𝑋 = − ෍ 𝑝(𝑥𝑖 ) log‬‬

‫‪𝑖=1‬‬
 ‫اإلنتروبي‬
‫خصاص اإلنتروبي‪:‬‬
‫يمكن لـ 𝑛 أن تكون النهائية‪.‬‬ ‫•‬
‫يعتمد 𝑋 𝐻 على التوزع االحتمالي للمتغير 𝑋‪ ،‬وليس على قيمه الفعلية‪.‬‬ ‫•‬
‫تحصل القيمة العظمى لـ 𝑋 𝐻 عندما يكون توزع 𝑋 اإلحصائي متجانسا‪ ،‬أي‬ ‫•‬
‫عندما يكون‪:‬‬
‫‪1‬‬
‫𝑛‪𝑝𝑖 = , ∀𝑖 ∈ 1,‬‬
‫𝑛‬
‫وحينئذ يكون‪:‬‬ ‫•‬
‫𝑛‬
‫‪σ‬‬
‫𝑛 ‪𝐻 𝑋 = − 𝑖=1 𝑝𝑖 log 𝑝𝑖 = log‬‬
 ‫اإلنتروبي‬
‫مثال‪:‬‬
‫يتخذ قالب إلكتروني ‪ flip flop‬إحدى وضعيتين‪ 0 :‬أو ‪ .1‬فإذا كان احتمال اتخاذه لكل من‬
‫‪1‬‬ ‫‪1‬‬
‫الوضعيتين يساوي ‪ ،‬أي = ‪ ،𝑝1 = 𝑝2‬ساوى إنتروبي القالب‪:‬‬
‫‪2‬‬ ‫‪2‬‬
‫‪1‬‬ ‫‪1 1‬‬ ‫‪1‬‬
‫‪H = − log − log = 1 bit‬‬
‫‪2‬‬ ‫‪2 2‬‬ ‫‪2‬‬
‫عبر اإلنتروبي هنا عن كمية المعلومات التي يمكن للقالب أن يخزنها‪ ،‬وهي بت واحدة‪.‬‬
‫يُ ِّ‬
 ‫اإلنتروبي‬
‫مثال‪:‬‬
‫لنفترض أن القالب ال يتخذ الوضعيتين ‪ 0‬و ‪ 1‬باحتمال متساو‪ .‬على سبيل المثال‪ ،‬ليكن‪:‬‬

‫‪𝑝1 = 0.7,‬‬ ‫‪𝑝2 = 0.3‬‬

‫حينئذ يكون‪:‬‬
‫‪𝐻 = −0.7 log 0.7 − 0.3 log 0.3‬‬
‫‪= 0.1549 + 0.5229 = 0.6778‬‬ ‫𝑡𝑖𝑏‬

‫أي إن القالب ال يخزن في تلك الحالة بتا كاملة‪.‬‬

 ‫اإلنتروبي‬

‫ومن الواضح أنه عندما يتخذ القالب وضعية واحدة فقط‪ ،‬أي عندما يكون‪:‬‬
‫‪𝑝1 = 1,‬‬ ‫‪𝑝2 = 0‬‬
‫فإنه ال يخزن أي شيء‪:‬‬

‫‪𝐻 = −1 log 1 − 0 log 0 = 0 − 0 = 0‬‬ ‫𝑡𝑖𝑏‬

 ‫اإلنتروبي‬
‫عندما يتخذ القالب الوضعيتين بنفس‬
‫االحتمال يخزن المقدار األعظمي من‬
‫]‪H [bit‬‬
‫المعلومات‪ ،‬وهو يساوي هنا ‪ 1‬بت‪.‬‬

‫وعندما تكون حالة القالب أكيدة‪ ،‬أي‬

‫إن احتمالها يساوي ‪ 1‬أو ‪ ،0‬تكون‬
‫قيمة اإلنتروبي صفرا‪.‬‬
‫‪p‬‬
‫احتمال =‪0‬‬ ‫احتمال =‪1‬‬
‫احتمال متجانس‬ ‫االحتمال الصفري يمثل حالة أكيدة‪،‬‬
‫وهي أن الحدث لن يقع حتما‪.‬‬
 ‫اإلنتروبي‬
‫يعبر اإلنتروبي عن‪:‬‬
‫عموما‪ِّ ،‬‬
‫كمية المعلومات الالزمة للتعبير عن حالة المنظومة العشوائية‪.‬‬ ‫•‬
‫نص مشفر‬
‫كمية المعلومات التي يمكن للمنظومة العشوائية أن تحملها‪.‬‬ ‫•‬
‫أحرف اللغة الطبيعية‬
‫مقدار عدم االنتظام في المنظومة العشوائية‪.‬‬ ‫•‬
‫المنظومات الفيزيائية‬ ‫االرتياب في حالة المنظومة العشوائية‪.‬‬ ‫•‬
‫مقدار تدهور انتظام المنظومة العشوائية‪.‬‬ ‫•‬
 ‫اإلنتروبي‬

‫وفيما يخص المعلومات‪ ،‬نقصر اهتمامنا على‪:‬‬

‫• كمية المعلومات الالزمة للتعبير عن حالة المنظومة العشوائية‪.‬‬
‫• كمية المعلومات التي يمكن للمنظومة العشوائية أن تحملها أو أن‬
‫تعبر عنها‪.‬‬
‫ِّ‬
 ‫اإلنتروبي‬
‫مثال‪:‬‬
‫تُستعمل الرموز ‪  ، ،‬لنقل معلومات بين نقطتين‪ .‬وتُستعمل هذه الرموز في عملية‬
‫التراسل بمعدالت تساوي‪ .%0.1 ،0.12 ،%78 :‬ما هي كمية المعلومات التي يمكن إرسالها‬
‫بواسطتها مقدرة بالبت للرمز الواحد؟‬

‫‪𝐻 = −0.78 log 0.78 − 0.12 log 0.12 − 0.1 log 0.1‬‬
‫𝑙𝑜𝑏𝑚𝑦𝑠‪= 0.28 + 0.367 + 0.332 = 0.98 𝑏𝑖𝑡/‬‬
 ‫اإلنتروبي‬
‫لو كان استعمال رموز المثال السابق موزعا بالتساوي‪ ،‬لكان مقدار المعلومات التي يحملها‬
‫الرمز الواحد‪:‬‬
‫‪1‬‬ ‫‪1‬‬
‫𝑡𝑖𝑏 ‪𝐻 = −3 × log = 1.585‬‬
‫‪3‬‬ ‫‪3‬‬

‫هذا يعني أنه من أجل استغالل طاقة الرموز على حمل المعلومات استغالال كامال‪ ،‬يجب‬
‫استعمالها باحتماالت متساوية‪.‬‬
 ‫اإلنتروبي‬
‫مثال‪:‬‬
‫أربع آالت في معمل إنتاجايتها على التتالي هي‪ .%10 ،%20 ، %30 ،%40 :‬ونرغب في‬
‫التعبير عن هذه اإلنتاجية بعدد من البتات التي تُخزن في ذاكرة‪ .‬ما هو حجم الذاكرة الالزمة‬
‫لخزن البيانات المعبرة عن حالة اآلالت اإلنتاجية؟‬

‫‪𝐻 = −0.4 log 0.4 − 0.3 log 0.3 − 0.2 log 0.2 − 0.1 log 0.1‬‬
‫𝑡𝑖𝑏 ‪= 0.53 + 0.52 + 0.46 + 0.33 = 1.84‬‬
‫لو كانت اإلنتاجية متساوية الحتجنا إلى‪:‬‬
‫‪1‬‬ ‫‪1‬‬
‫𝑡𝑖𝑏 ‪𝐻 = − × 4 log = 2‬‬
‫‪4‬‬ ‫‪4‬‬
 ‫كمية المعلومات‬ ‫اإلنتروبي‬
‫‪1‬‬
‫= 𝑝)‪ ،‬فإن اإلنتروبي‬ ‫(‬
‫إذا اتخذت المنظومة 𝐿 حالة مختلفة متساوية االحتمال‬
‫𝐿‬
‫الخاص بها يعطى بـ‪:‬‬
‫𝐿 ‪𝐻 = log‬‬
‫وإذا تألفت المنظومة من 𝑛 متغيرا اثنانيا‪ 𝑋 = 𝑥1 ,𝑥2 , ⋯ 𝑥𝑛 :‬حيث‬
‫𝑛‬
‫‪ ،𝑥𝑖 ∈ 0,1‬اتخذت ‪ 2‬حالة مختلفة‪ .‬وإذا ظهرت جميع تلك الحاالت‬
‫باحتماالت متساوية‪ ،‬نقول أن المنظومة يمكن أن تحمل كمية من المعلومات تساوي‪:‬‬

‫𝑡𝑖𝑏 𝑛 = 𝐼‬
 ‫اإلنتروبي المشترك ‪joint entropy‬‬ ‫اإلنتروبي‬

‫اإلنتروبي المشترك بين مجموعة من المتغيرات العشوائية هو االرتياب الوسطي‬

‫المقترن بحصولها مجتمعة‪.‬‬
 ‫اإلنتروبي المشترك‬ ‫اإلنتروبي‬
‫ليكن 𝑛𝑥 ⋯ ‪ 𝑋 𝑥1 , 𝑥2 ,‬و 𝑚𝑦 ⋯ ‪ 𝑌 𝑦1 , 𝑦2 ,‬متغيران عشوائيان يتخذان قيما‬
‫باالحتماالت التالية‪:‬‬
‫) 𝑖𝑥(𝑝 = 𝑖𝑥 = 𝑋 𝑃‬

‫) 𝑗𝑦(𝑝 = 𝑗𝑦 = 𝑌 𝑃‬

‫) 𝑗𝑦 ‪𝑃 𝑋 = 𝑥𝑖 ∩ 𝑌 = 𝑦𝑗 = 𝑝(𝑥𝑖 ,‬‬
 ‫اإلنتروبي المشترك‬ ‫اإلنتروبي‬
‫عرف اإلنتروبي المشترك لهما بـ‪:‬‬
‫يُ َّ‬

‫𝑛‬ ‫𝑚‬

‫) 𝑗𝑦 ‪𝐻 𝑋, 𝑌 = − ෍ ෍ 𝑝(𝑥𝑖 , 𝑦𝑗 ) log 𝑝(𝑥𝑖 ,‬‬

‫‪𝑖=1 𝑗=1‬‬
 ‫اإلنتروبي المشترك‬ ‫اإلنتروبي‬
‫خصائص اإلنتروبي المشترك‪:‬‬
‫تحصل المساواة إذا‬ ‫• غير سالب‪ ،‬أي موجب أو يساوي الصفر‪𝐻 𝑋,𝑌 ≥ 0 :‬‬
‫كان المتغيران مستقلين‬
‫• أكبر من أكبر إنتروبي في المجموعة أو يساويه‪:‬‬
‫)𝑌(𝐻‪𝐻 𝑋,𝑌 ≥ 𝑚𝑎𝑥 𝐻 𝑋 ,‬‬ ‫•‬
‫• أصغر من مجموع اإلنتروبيين اإلفراديين أو يساويهما‪:‬‬
‫)𝑌(𝐻 ‪𝐻 𝑋,𝑌 ≤ 𝐻 𝑋 +‬‬
‫اإلنتروبي الشرطي ‪conditional entropy‬‬ ‫اإلنتروبي‬

‫اإلنتروبي الشرطي‪:‬‬
‫يمثل كمية المعلومات الالزمة لوصف نتيجة متحول عشوائي حين معرفة قيمة‬
‫متحول عشوائي آخر‪.‬‬
 ‫اإلنتروبي الشرطي‬ ‫اإلنتروبي‬
‫عرف اإلنتروبي الشرطي للمتغيرين )‪ (X,Y‬بمتوسط قيم اإلنتروبي الشرطي ألحد‬‫ويُ َّ‬
‫المتغيرين عند قيم المتغير اآلخر‪:‬‬
‫𝑚‬

‫𝑗𝑥 = 𝑋 𝑌 𝐻) 𝑗𝑥(𝑝 ‪𝐻 𝑌 𝑋 = ෍‬‬

‫‪𝑗=1‬‬
‫حيث‪:‬‬
‫𝑛‬

‫𝑗𝑥 = 𝑋 𝑖𝑦 = 𝑌 𝑃 ‪𝐻 𝑌 𝑋 = 𝑥𝑗 = − ෍ 𝑃 𝑌 = 𝑦𝑖 𝑋 = 𝑥𝑗 log‬‬
‫‪𝑖=1‬‬
 ‫اإلنتروبي الشرطي‬ ‫اإلنتروبي‬
‫وبذلك يكون‪:‬‬
‫𝑛‬ ‫𝑚‬

‫𝑗𝑦 = 𝑌 𝑖𝑥 = 𝑋 𝑃 ‪𝐻 𝑋 𝑌 = − ෍ ෍ 𝑝(𝑥𝑖 , 𝑦𝑗 )log‬‬

‫‪𝑖=1 𝑗=1‬‬
‫𝑚 𝑛‬

‫𝑗𝑥 = 𝑋 𝑖𝑦 = 𝑌 𝑃 ‪𝐻 𝑌 𝑋 = − ෍ ෍ 𝑝(𝑥𝑖 , 𝑦𝑗 )log‬‬

‫‪𝑖=1 𝑗=1‬‬
 ‫اإلنتروبي الشرطي‬ ‫اإلنتروبي‬
‫قاعدة التسلسل ‪Chain rule‬‬ ‫ويمكن البرهان على ما يلي‪:‬‬
‫𝑋 𝐻 ‪𝐻 𝑌 𝑋 = 𝐻 𝑋,𝑌 −‬‬
‫)𝑌(𝐻 ‪𝐻 𝑌 𝑋 = 𝐻 𝑋 𝑌 − 𝐻 𝑋 +‬‬
‫قاعدة بَيْز ‪Bayes' rule‬‬
‫𝑌 𝐻≤ 𝑋𝑌 𝐻‬
‫تحصل المساواة حين استقالل المتغيرين عن بعضهما‬

‫وبسبب التناظر‪ ،‬يمكن تبديل كل 𝑋 بـ 𝑌‪ ،‬وكل 𝑌 بـ 𝑋‪.‬‬

 ‫المعلومات المشتركة‬ ‫اإلنتروبي‬
‫‪mutual information‬‬

‫المعلومات المشتركة‪:‬‬
‫تعبر المعلومات المشتركة بين متحولين عشوائيين عن االعتماد المتبادل بينهما‪ ،‬أو‬
‫ِّ‬
‫عن مقدار اعتماد كل منهما على اآلخر‪ .‬وهي تمثل مقدار انخفاض إنتروبي 𝑋‬
‫نتيجة لمعرفة 𝑌‪ ،‬والعكس صحيح‪.‬‬
 ‫المعلومات المشتركة‬ ‫اإلنتروبي‬

‫تعطى المعلومات المشتركة بـ‪:‬‬

‫)𝑦 ‪𝑃(𝑥,‬‬
‫‪𝐼 𝑋, 𝑌 = ෍ ෍ 𝑃 𝑥, 𝑦 log‬‬
‫)𝑦(𝑃 𝑥 𝑃‬
‫𝑋‬ ‫𝑌‬
 ‫اإلنتروبي المشترك واإلنتروبي الشرطي‬
‫والمعلومات المشتركة‬ ‫اإلنتروبي‬
‫يمكن البرهان على العالقات التالية التي تربط بين اإلنتروبي المشترك واإلنتروبي‬
‫الشرطي والمعلومات المشتركة‪:‬‬
‫‪𝐼 𝑋,𝑌 ≥ 0‬‬
‫𝑌 𝑋 𝐻 ‪𝐼 𝑋,𝑌 = 𝐻 𝑋 −‬‬
‫𝑋 𝑌 𝐻‪=𝐻 𝑌 −‬‬
‫𝑌 𝑋 𝐻‪=𝐻 𝑌 +‬‬
‫𝑋 𝑌 𝐻‪=𝐻 𝑋 +‬‬
‫𝑌 ‪= 𝐻 𝑋 + 𝐻 𝑌 − 𝐻 𝑋,‬‬
‫𝑋 𝑌 𝐻 ‪= 𝐻 𝑋, 𝑌 − 𝐻 𝑋 𝑌 −‬‬
‫اإلنتروبي المشترك واإلنتروبي الشرطي‬ ‫اإلنتروبي‬
‫والمعلومات المشتركة الوسطية‬

‫إذا كان المتغيران العشوائيان ‪ X,Y‬مستقلين‪:‬‬

‫𝑋 𝐻= 𝑌𝑋 𝐻‬
‫‪𝐼 𝑋,𝑌 = 0‬‬
‫𝑌 𝐻‪𝐻 𝑋,𝑌 = 𝐻 𝑋 +‬‬
 ‫المعلومات المشتركة‬
‫مثال‪:‬‬
‫صندوق فيه كرتان حمراوان وثالث كرات خضراء‪ .‬ما مقدار المعلومات المشتركة‬
‫بين سحبين متتاليين؟ ال تُعاد الكرة التي تُسحب في المرة األولى إلى الصندوق‪.‬‬

‫دع 𝑥 يمثل السحب األول‪ ،‬و 𝑦 يمثل الثاني‪ .‬و 𝑟 يمثل أحمر‪ ،‬و 𝑔 يمثل أخضر‪.‬‬
 ‫المعلومات المشتركة‬
‫‪2‬‬ ‫‪3‬‬
‫= 𝑟=𝑋 𝑃‬ ‫= 𝑔=𝑋 𝑃‬
‫‪5‬‬ ‫‪5‬‬
‫𝑟=𝑋𝑟=𝑌 𝑃 𝑟=𝑋 𝑃= 𝑟=𝑌 𝑃‬
‫𝑔 = 𝑋 𝑟 = 𝑌 𝑃 𝑔 = 𝑋 𝑃‪+‬‬
‫‪2 1 3 1‬‬
‫× ‪= × +‬‬
‫‪5 4 5 2‬‬
‫‪2‬‬
‫=‬
‫‪5‬‬
 ‫المعلومات المشتركة‬
‫𝑟=𝑋𝑔=𝑌 𝑃 𝑟=𝑋 𝑃= 𝑔=𝑌 𝑃‬
‫𝑔 = 𝑥 𝑔 = 𝑌 𝑃 𝑔 = 𝑋 𝑃‪+‬‬
‫‪2 3 3 1‬‬
‫× ‪= × +‬‬
‫‪5 4 5 2‬‬
‫‪3‬‬
‫=‬
‫‪5‬‬
 ‫المعلومات المشتركة‬
‫‪2 1‬‬ ‫‪1‬‬
‫𝑟 = 𝑌‪𝑃 𝑋 = 𝑟 ,‬‬ ‫= × =‬
‫‪5 4 10‬‬
‫‪2 3‬‬ ‫‪3‬‬
‫𝑔 = 𝑦‪𝑃 𝑥 = 𝑟 ,‬‬ ‫= × =‬
‫‪5 4 10‬‬
‫‪3 1‬‬ ‫‪3‬‬
‫𝑟 = 𝑦‪𝑃 𝑥 = 𝑔 ,‬‬ ‫= × =‬
‫‪5 2 10‬‬
‫‪3 1‬‬ ‫‪3‬‬
‫𝑔 = 𝑦‪𝑃 𝑥 = 𝑔 ,‬‬ ‫= × =‬
‫‪5 2 10‬‬
 ‫المعلومات المشتركة‬
‫𝑌‪𝐼 𝑋,𝑌 = 𝐻 𝑋 + 𝐻 𝑌 − 𝐻 𝑋,‬‬

‫𝑔= 𝑥 𝐻‪𝐻 𝑋 =𝐻 𝑥 =𝑟 +‬‬

‫‪2‬‬ ‫‪2 3‬‬ ‫‪3‬‬
‫𝑡𝑖𝑏 ‪𝐻 𝑋 = − log − log = 0.53 + 0.44 = 0.97‬‬
‫‪5‬‬ ‫‪5 5‬‬ ‫‪5‬‬
‫𝑔= 𝑦 𝐻‪𝐻 𝑌 =𝐻 𝑦 =𝑟 +‬‬
‫‪2‬‬ ‫‪2 3‬‬ ‫‪3‬‬
‫𝑡𝑖𝑏 ‪𝐻 𝑌 = − log − log = 0.53 + 0.44 = 0.97‬‬
‫‪5‬‬ ‫‪5 5‬‬ ‫‪5‬‬
 ‫المعلومات المشتركة‬
‫𝑔 = 𝑌 ‪𝐻 𝑋, 𝑌 = 𝐻 𝑋 = 𝑟, 𝑌 = 𝑟 + 𝐻 𝑋 = 𝑟,‬‬
‫𝑔 = 𝑌‪+𝐻 𝑋 = 𝑔,𝑌 = 𝑟 +𝐻 𝑋 = 𝑔,‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪3‬‬ ‫‪3‬‬ ‫‪3‬‬ ‫‪3‬‬ ‫‪3‬‬ ‫‪3‬‬
‫‪𝐻 𝑋, 𝑌 = − log − log − log − log‬‬
‫‪10‬‬ ‫‪10 10‬‬ ‫‪10 10‬‬ ‫‪10 10‬‬ ‫‪10‬‬
‫𝑡𝑖𝑏 ‪= 0.332 + 3 × 0.52 = 1.892‬‬
 ‫المعلومات المشتركة‬
‫المعلومات المشتركة بين السحبين األول والثاني‪:‬‬

‫𝑌 ‪𝐼 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌 − 𝐻 𝑋,‬‬
‫𝑡𝑖𝑏 ‪𝐼 𝑋, 𝑌 = 0.97 × 2 − 1.892 = 0.048‬‬

‫أي إن السحب األول يقلص االرتياب في السحب الثاني بمقدار ‪ 0.048‬بت‪.‬‬

 ‫اإلنتروبي‬

‫مثال‪:‬‬
‫يوجد في سلة عدد كبير جدا من قصاصات الورق التي ُكتب على كل منها واحد من‬
‫األرقام من ‪ 1‬حتى ‪ .6‬سحب عمر أربع قصاصات ورتبها جنبا إلى جنب وأخفاها‬
‫عن سلمى‪ .‬طبعا يمكن للقصاصات األربعة أن تحمل أي تشكيلة من أربعة أرقام‪:‬‬
‫‪ ،5266‬أو ‪ ،3333‬مثال‪ .‬وعلى سلمى أن تحزر تشكيلة األرقام التي أخفاها عمر‪.‬‬
‫وبعد تقديم سلمى لمقترحها‪ ،‬يُعلمه عمر بعدد المنازل المتطابقة دون تحديدها‪.‬‬
 ‫اإلنتروبي‬
‫‪ .1‬ما مقدار االرتياب الوسطي في التشكيلة التي اختارها عمر؟‬
‫‪ .2‬أول اقتراح تقدمه سلمى لتشكيلة األرقام يتضمن أرقاما متماثلة من قبيل‬
‫‪ .2222‬ماذا يصبح مقدار االرتياب الوسطي في التشكيلة التي اختارها عمر‬
‫بعد إجابته على مقترح سلمى؟‬
 ‫اإلنتروبي‬
‫‪ .1‬من الواضح أن التشكيلة التي يحصل عليها عمر هي واحدة من ‪64 = 1296‬‬
‫تشكيلة ممكنة‪ .‬ونظرا إلى أن عدد القصاصات في السلة كبير جدا‪ ،‬تكون‬
‫احتماالت سحب أي من تلك التشكيالت متساوية ويساوي كل منها‪:‬‬
‫‪1‬‬
‫=𝑝‬
‫‪1296‬‬
‫لذا يساوي االرتياب الوسطي في التشكيلة 𝑋 التي اختارها عمر‪:‬‬
‫𝑡𝑖𝑏 ‪𝐻(𝑋) = log 1296 = 10.34‬‬
 ‫اإلنتروبي‬
‫‪ .2‬إجابات عمر هي أعداد‪ ،‬ويمكن تمثيلها بمتغير عشوائي 𝑌 يأخذ القيم التالية‪:‬‬
‫• ال يوجد أي تطابق‪.𝑌 = 0 :‬‬
‫• يوجد تطابق واحد‪.𝑌 = 1 :‬‬
‫• يوجد تطابقان‪.𝑌 = 2 :‬‬
‫• يوجد ثالثة تطابقات‪.𝑌 = 3 :‬‬
‫• يوجد أربعة تطابقات‪.𝑌 = 4 :‬‬
‫وتمثل إجابات عمر تخفيضا لالرتياب في التشكيلة المسحوبة‪ ،‬وقيمة هذا التخفيض‬
‫هي المعلومات الوسطية المشتركة بين ‪ 𝑋 :‬و 𝑌‪:‬‬
‫𝑋 𝑌 𝐻 ‪𝐼 𝑋, 𝑌 = 𝐻 𝑋 − 𝐻 𝑋 𝑌 = 𝐻 𝑌 −‬‬
 ‫اإلنتروبي‬
‫عرفت التشكيلة التي سحبها‬‫ونظرا إلى أن معرفة 𝑋 تنطوي على معرفة 𝑌 (إذا ُ‬
‫عمر سوف يصبح عدد التطابقات معروفا بعد مقترح سلمى)‪ .‬ولذا يساوي االرتياب‬
‫في 𝑌 حين معرفة 𝑋 الصفر‪:‬‬
‫‪𝐻 𝑌𝑋 =0‬‬
‫𝑌 𝐻 = 𝑌‪𝐼 𝑋,‬‬ ‫ومنه‪:‬‬

‫من أجل حساب 𝑌 𝐻‪ ،‬نحتاج إلى التوزع االحتمالي لـ 𝑌‪:‬‬

‫𝑗=𝑌 𝑃‬ ‫‪; 𝑗 = 0, 1, 2, 3, 4‬‬
 ‫اإلنتروبي‬

‫تعني القيمة ‪ 𝑌 = 4‬أن التشكيلة التي اقترحتها سلمى هي التشكيلة التي سحبها‬
‫عمر‪ ،‬لذا يساوي احتمالها‪:‬‬
‫‪1‬‬
‫= ‪𝑃 𝑌=4‬‬
‫‪1296‬‬
 ‫اإلنتروبي‬
‫من أجل القيمة ‪ ،Y = 3‬ثمة ثالثة مواقع متطابقة وموقع واحد غير متطابق‪.‬‬
‫بافتراض أن المواقع الثالثة اليسرى كانت متطابقة‪ ،‬يمكن أن يكون في الموقع‬
‫الرابع (األيمن) واحد من خمسة أرقام مختلفة‪ ،6 − 1 :‬وهذا يعطي إمكانية لخمس‬
‫‪5‬‬
‫تشكيالت احتمالها يساوي ‪:‬‬
‫‪1296‬‬
‫ونظرا إلى أن الموقع غير المتطابق يمكن أن يكون في أي من المواقع األربعة‪،‬‬
‫فإن‪:‬‬
‫‪5‬‬ ‫‪20‬‬
‫×‪𝑃 𝑌 =3 =4‬‬ ‫=‬
‫‪1296 1296‬‬
 ‫اإلنتروبي‬
‫وبمحاكمة مشابهة‪ ،‬نجد أن‪:‬‬
‫‪150‬‬
‫= ‪𝑃 𝑌=2‬‬
‫‪1296‬‬

‫‪500‬‬
‫= ‪𝑃 𝑌=1‬‬
‫‪1296‬‬

‫‪625‬‬
‫= ‪𝑃 𝑌=0‬‬
‫‪1296‬‬
 ‫اإلنتروبي‬
‫ومن ثم‪:‬‬
‫𝑌 𝐻‬
‫‪1‬‬ ‫‪1‬‬ ‫‪20‬‬ ‫‪20‬‬ ‫‪150‬‬ ‫‪150‬‬ ‫‪500‬‬ ‫‪500‬‬
‫‪=−‬‬ ‫‪log‬‬ ‫‪−‬‬ ‫‪log‬‬ ‫‪−‬‬ ‫‪log‬‬ ‫‪−‬‬ ‫‪log‬‬
‫‪1296‬‬ ‫‪1296 1296‬‬ ‫‪1296 1296‬‬ ‫‪1296 1296‬‬ ‫‪1296‬‬
‫‪625‬‬ ‫‪625‬‬
‫‪−‬‬ ‫‪log‬‬
‫‪1296‬‬ ‫‪1296‬‬
‫وتكون المعلومات المشتركة‪:‬‬
‫𝑡𝑖𝑏 ‪𝐼 𝑋, 𝑌 = 𝐻 𝑌 ≈ 1‬‬
‫ويصبح االرتياب الشرطي الوسطي‪:‬‬
‫𝑡𝑖𝑏 ‪𝐻 𝑋, 𝑌 ≈ 10.34 − 1 ≈ 9.34‬‬
 ‫‪Source Coding‬‬ ‫ترميز المنبع‬
‫اإلنتروبي واللغة‬
 ‫‪Source Coding‬‬ ‫ترميز المنبع‬
‫اإلنتروبي واللغة‬

‫اللغة المكتوبة هي منبع للمعلومات يعطي رموزا أو حروفا عشوائية من‬

‫مجموعة محددة من الرموز التي تسمى باألبجدية‪ .‬وتظهر الرموز‬
‫المتتالية عادة وفقا الحتماالت تحدد العالقة بين تلك الرموز‪.‬‬
‫وقد درس شانون هذا الموضوع مستعمال اللغة اإلنكليزية‪ .‬أما هنا‪،‬‬
‫فسوف نطبق بعض المفاهيم التي استعملها على اللغة العربية‪.‬‬
 ‫اإلنتروبي واللغة العربية‬ ‫ترميز المنبع‬
‫عدد األحرف األساسية في اللغة العربية هو ‪ 28‬حرفا‪ ،‬يُضاف إليها‬
‫الفراغ‪ ،‬فيصبح عدد رموز اللغة ‪ 29‬رمزا‪.‬‬

‫في الواقع‪ ،‬اللغة العربية غنية ومعقدة من حيث محارفها‪ .‬فللهمزة عدة أشكال‬
‫بحسب موقعها من الكلمة وتبعا لحركتها‪ ،‬وقد اعتُبرت جميعها هنا مع األلف‬
‫حرفا واحدا‪ .‬واعتُبرت التاء المربوطة هاء‪ ،‬واعتُبرت األلف المقصورة ياء‪ .‬أي‬
‫إن عدد المحارف الكلي يساوي ‪ 29‬محرفا تتضمن الفراغ‪.‬‬
 ‫اإلنتروبي واللغة العربية‬ ‫ترميز المنبع‬
‫ليكن احتمال ظهور الحرف رقم ‪ i‬من األبجدية 𝑖𝑝‪ .‬تعطى كمية المعلومات التي‬
‫يمكن للحرف الواحد أن يحملها بإنتروبي اللغة‪:‬‬

‫‪29‬‬

‫𝑖𝑝 𝑔𝑜𝑙 𝑖𝑝 ‪𝐼 = 𝐻 = − ෍‬‬ ‫𝑙𝑜𝑏𝑚𝑦𝑠‪𝑏𝑖𝑡/‬‬

‫‪𝑖=1‬‬
 ‫اإلنتروبي واللغة العربية‬ ‫ترميز المنبع‬
‫بافتراض أن جميع أحرف اللغة العربية تظهر في النصوص بنفس االحتمال‬
‫(وهذه فرضية غير صحيحة)‪ ،‬تعطى 𝑖𝑝 بـ‪:‬‬
‫‪1‬‬
‫= 𝑖𝑝‬ ‫;‬ ‫‪𝑖 = 1 … 29‬‬
‫‪29‬‬
‫حينئذ‪ ،‬يحمل الحرف الواحد من النص المكتوب كمية المعلومات التالية‪:‬‬
‫‪29‬‬
‫‪1‬‬ ‫‪1‬‬
‫‪𝐼 = −෍‬‬ ‫𝑔𝑜𝑙‬ ‫𝑙𝑜𝑏𝑚𝑦𝑠‪= 𝑙𝑜𝑔29 = 4.86 𝑏𝑖𝑡/‬‬
‫‪29‬‬ ‫‪29‬‬
‫‪1‬‬
 ‫اإلنتروبي واللغة العربية‬ ‫ترميز المنبع‬
‫ماذا يعني ذلك‪:‬‬
‫• إذا أرسلت رسالة إلى شخص ما‪ ،‬وكانت الرسالة مؤلفة من 𝑚 حرفا‪ ،‬تكون قد‬
‫أرسلت إليه 𝑚 ‪ 4.86‬بتا من المعلومات‪.‬‬
‫• إذا أرسلت رسالة إلى شخص بمعدل 𝑚 حرفا في الثانية‪ ،‬تكون قد أرسلت إليه‬
‫𝑚 ‪ 4.86‬بتا في الثانية‪.‬‬
‫• إذا سحبت حرفا واحدا من األبجدية‪ ،‬فإنك سوف تكون مرتابا بماهية الحرف‬
‫الذي سحبته‪ ،‬ومقدار ارتيابك يساوي إنتروبي مجموعة المحارف تلك الذي‬
‫يساوي أيضا ‪.4.86‬‬
 ‫اإلنتروبي واللغة العربية‬ ‫ترميز المنبع‬

‫سؤال‪:‬‬
‫• لنفترض أنك نويت أن تُنشئ لغة خاصة بك‪ ،‬ما هو العدد األصغري لحروف‬
‫األبجدية الذي يمكن أن تختاره؟‬
‫• لماذا اخترت هذا العدد؟‬
 ‫اإلنتروبي واللغة العربية‬ ‫ترميز المنبع‬
‫النسبة المئوية‬ ‫النسبة المئوية الحرف‬ ‫النسبة المئوية الحرف‬ ‫الحرف‬
‫‪0.81‬‬ ‫ص‬ ‫‪2.83‬‬ ‫ب‬ ‫‪18.78‬‬ ‫الفراغ‬
‫‪0.8‬‬ ‫ط‬ ‫‪2.61‬‬ ‫ع‬ ‫‪15.45‬‬ ‫ا‬ ‫في اللغة الطبيعية‪ ،‬ال تظهر‬
‫‪0.74‬‬ ‫خ‬ ‫‪2.28‬‬ ‫ف‬ ‫‪9.22‬‬ ‫ل‬ ‫جميع المحارف بنفس‬
‫‪0.72‬‬ ‫ش‬ ‫‪2.19‬‬ ‫د‬ ‫‪6.5‬‬ ‫ي‬ ‫االحتمال‪ .‬فالالم واأللف‬
‫‪0.61‬‬ ‫ض‬ ‫‪1.78‬‬ ‫ق‬ ‫‪5.13‬‬ ‫هـ‬ ‫يتكرران كثيرا في العربية‪،‬‬
‫‪0.5‬‬ ‫ث‬ ‫‪1.75‬‬ ‫س‬ ‫‪4.78‬‬ ‫م‬ ‫في حين أن حرف الظاء‬
‫‪0.47‬‬ ‫ز‬ ‫‪1.72‬‬ ‫ك‬ ‫‪4.51‬‬ ‫و‬ ‫قليل التكرار‪ .‬وهذا واضح‬
‫‪0.34‬‬ ‫غ‬ ‫‪1.6‬‬ ‫ح‬ ‫‪4.41‬‬ ‫ن‬ ‫من المثال المجاور‪.‬‬
‫‪0.237‬‬ ‫ظ‬ ‫‪1.15‬‬ ‫ج‬ ‫‪3.81‬‬ ‫ت‬
‫‪0.884‬‬ ‫ذ‬ ‫‪3.37‬‬ ‫ر‬
 ‫اإلنتروبي واللغة العربية‬ ‫ترميز المنبع‬

‫باستعمال قيم االحتماالت المعطاة في الجدول‪ ،‬نحصل على كمية المعلومات‬

‫الوسطية التي يمكن للحرف الواحد من األبجدية أن يحملها‪:‬‬
‫‪29‬‬

‫𝑙𝑜𝑏𝑚𝑦𝑠‪𝐼 = 𝐻 = − ෍ 𝑝𝑖 𝑙𝑜𝑔 𝑝𝑖 = 4.06 𝑏𝑖𝑡/‬‬

‫‪𝑖=1‬‬
 ‫اإلنتروبي واللغة‬ ‫ترميز المنبع‬

‫القيمة ‪ 4.06‬أصغر من القيمة العظمى ‪ 4.86‬بت للحرف الواحد التي‬

‫تنتج حينما تكون جميع الحروف متساوية االحتمال‪ .‬وهذا متوقع‪ ،‬ألن‬
‫القيمة العظمى ال تحصل إال عندما تكون جميع قيم ‪ pi‬متساوية‪.‬‬
‫في اللغة اإلنكليزية ‪ ،‬القيمتان المقابلتان للقيمتين ‪ 4.06‬و ‪ 4.86‬هما‬
‫‪ 4.15‬و ‪ .4.75‬وهذا شيء الفت‪ .‬فبرغم اختالف اللغتين من نواح‬
‫عديدة‪ ،‬وخاصة من الناحية النحوية‪ ،‬تجد أنهما متقاربتان من حيث‬
‫مقدرة أبجديتهما على حمل المعلومات‪.‬‬
 ‫اإلنتروبي واللغة‬ ‫ترميز المنبع‬
‫ال تعبّر الحسابات السابقة عن مقدرة اللغة على حمل المعلومات على نحو دقيق‪.‬‬
‫فعمليا‪ ،‬ال تظهر الحروف مستقلة عن بعضها‪ ،‬بل ثمة ترابطات بينها‪ .‬فعلى‬
‫سبيل المثال‪ ،‬تظهر ثنائيات األحرف باحتماالت مختلفة تعتمد على قابلية‬
‫الحروف لالقتران معا‪ .‬فالحرفان (أ‪ ،‬ل) يظهران معا كثيرا في العربية‪ .‬وكذلك‬
‫الحرفان (‪ t‬و ‪ )h‬في اإلنكليزية‪ .‬في حين أن الحرفين (ز‪ ،‬ذ) ال يقترنان معا في‬
‫العربية‪ .‬وهذا ينطبق على ثالثيات األحرف ورباعياتها‪ ..‬إلخ‪.‬‬
 ‫اإلنتروبي واللغة‬ ‫ترميز المنبع‬

‫لذا فإن القيمة الوسطية الحقيقية إلنتروبي العربية تنخفض إلى نحو ‪ 2.4‬بت‬
‫للحرف‪ ،‬وتنخفض في حالة اإلنكليزية إلى نحو ‪ 2.3‬بت للحرف‪.‬‬
‫لماذا؟‬
 ‫اإلنتروبي واللغة‬ ‫ترميز المنبع‬

‫اعتمادا على هذه الحقائق تتنبأ محررات النصوص (في الهاتف مثال)‬
‫بالكلمة التالية أثناء تحريرك لنص ما‪ .‬وغوغل يفعل الشيء نفسه‪.‬‬
‫لقد ُ‬
‫ض ّمنت هذه الحقائق في الذكاء الصنعي الذي يقوم بالتنبُّؤ‪.‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫نسمي المنبع الذي يعتمد فيه ظهور الرمز التالي على الرمز الذي‬
‫سبقه بالمنبع ذي الذاكرة ‪ . with memory‬بالمقارنة‪ ،‬نسمي المنابع‬
‫التي تظهر فيها الرموز مستقلة تماما عن بعضها بالمنابع العديمة الذاكرة‬
‫‪.memoryless‬‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫ليكن 𝑖𝑈 الرمز رقم ‪ i‬الخارج من منبع للرموز‪.‬‬

‫نعرف إنتروبي 𝑈‪ ،‬أي إنتروبي الرموز 𝑖𝑈 بـ‪:‬‬
‫ِّ ّ‬

‫) ‪𝐻 𝑈 = 𝑙𝑖𝑚 𝐻 𝑈𝐿 (𝑈𝐿−1 , 𝑈𝐿−2 , ⋯ , 𝑈1‬‬

‫∞→𝐿‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫وإذا كانت الرموز مستقلة بعضا عن بعض (منبع عديم الذاكرة)‪:‬‬
‫) 𝐿𝑈(𝐻 = 𝑈 𝐻‬
‫وفي حالة اعتماد الرمز على الرمز السابق له فقط‪:‬‬
‫‪𝐻 𝑈 = 𝐻 𝑈𝐿 𝑈𝐿−1‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫منبع ‪ U‬يعطي في خرجه سلسلة مكونة من األحرف الثالث ‪ A, B, C‬التي يعتمد فيها الحرف‬
‫الالحق على الحرف السابق وفقا لمخطط ماركوف ومصفوفة احتماالت العبور التاليين‪ .‬خرج‬
‫المنبع في البداية كان ‪ .B‬المطلوب حساب اإلنتروبي الوسطي للمنبع‪.‬‬

‫‪1ൗ‬‬ ‫‪1ൗ‬‬ ‫‪1ൗ‬‬

‫‪2‬‬ ‫‪2‬‬ ‫‪1Τ2 1Τ2‬‬ ‫‪0‬‬
‫‪2‬‬
‫‪A‬‬ ‫‪B‬‬ ‫‪C‬‬ ‫‪T = 1Τ2‬‬ ‫‪0‬‬ ‫‪1Τ2‬‬
‫‪1ൗ‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
‫‪2‬‬ ‫‪1‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫‪1ൗ‬‬ ‫‪1ൗ‬‬ ‫‪1ൗ‬‬
‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬
‫‪A‬‬ ‫‪B‬‬ ‫‪C‬‬
‫‪1ൗ‬‬
‫‪2‬‬ ‫‪1‬‬
‫𝐴𝐴‬ ‫𝐶𝐴 𝐵𝐴‬
‫𝐴𝐵 = ‪T‬‬ ‫𝐶𝐵 𝐵𝐵‬
‫𝐴𝐶‬ ‫𝐶𝐶 𝐵𝐶‬
‫‪1Τ2‬‬ ‫‪1Τ2‬‬ ‫‪0‬‬
‫‪T = 1Τ2‬‬ ‫‪0‬‬ ‫‪1Τ2‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫لنرمز للحرف الذي يظهر في الخطوة رقم ‪ n‬بـ 𝑛𝑈‪ .‬حينئذ يعطى اإلنتروبي الوسطي لهذا‬
‫المنبع عندما ∞ → 𝑛 بـ‪:‬‬
‫𝐶‬

‫𝑖 = ‪𝑙𝑖𝑚 𝐻 𝑈𝑛 𝑈𝑛−1 = 𝑙𝑖𝑚 ෍ 𝑃 𝑈𝑛−1 = 𝑖 × 𝐻 𝑈𝑛 𝑈𝑛−1‬‬

‫∞→𝑛‬ ‫∞→𝑛‬
‫𝐴=𝑖‬

‫𝐶 ‪𝑖 = 𝐴, 𝐵,‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫الحل‪:‬‬
‫أوال‪ ،‬سوف نحسب ‪.P‬‬
‫نظرا إلى أن أول حرف يظهر في خرج المنبع هو ‪ ،B‬تعطى مصفوفة احتماالت الحالة‬
‫االبتدائية بـ‪:‬‬
‫‪𝑃(0) = 0 1 0‬‬

‫وتكون مصفوفة احتماالت الحالة األولى‪:‬‬

‫‪1Τ2‬‬ ‫‪1Τ2‬‬ ‫‪0‬‬

‫‪𝑃(1) = 𝑃(0) 𝑇 = 0‬‬ ‫‪1‬‬ ‫‪0 1Τ2‬‬ ‫‪0‬‬ ‫‪1Τ2‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫بعد الضرب ينتج‪:‬‬

‫‪𝑃(1) = 1Τ2 0 1Τ2‬‬
‫أي إن احتمال كون الحرف األول يساوي ‪ A‬أو ‪ C‬يساوي ‪ ،1Τ2‬واحتمال أن‬
‫يكون ‪ B‬يساوي ‪.0‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫الحل‪:‬‬
‫وتعطى احتماالت الحالة الثانية )‪ P (2‬الخاصة بظهور الرمز الثاني بـ‪:‬‬

‫‪1Τ2‬‬ ‫‪1Τ2‬‬ ‫‪0‬‬

‫)‪𝑃(2) = 𝑃(1‬‬ ‫‪1Τ2‬‬ ‫‪0‬‬ ‫‪1Τ2‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬

‫‪1Τ2‬‬ ‫‪1Τ2‬‬ ‫‪0‬‬ ‫‪1Τ2‬‬ ‫‪1Τ2‬‬ ‫‪0‬‬

‫‪𝑃(2) = 0‬‬ ‫‪1‬‬ ‫‪0 1Τ2‬‬ ‫‪0‬‬ ‫‪1Τ2 1Τ2‬‬ ‫‪0‬‬ ‫‪1Τ2‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫أي إن‪:‬‬
‫‪𝑃(2) = 0‬‬ ‫‪1‬‬ ‫‪0 𝑇2‬‬

‫وتكون احتماالت الحالة رقم ‪:n‬‬

‫‪𝑃(𝑛) = 0‬‬ ‫‪1‬‬ ‫𝑛𝑇 ‪0‬‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫وبعد ظهور عدد كبير من الرموز في خرج المنبع‪:‬‬

‫‪𝑙𝑖𝑚 𝑃𝑛 = 0‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫𝑛 𝑇 𝑚𝑖𝑙‬

‫∞→𝑛‬ ‫∞→𝑛‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫لكن‪:‬‬

‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.20‬‬

‫‪𝑙𝑖𝑚 𝑇 𝑛 = 0.4‬‬ ‫‪0.4‬‬ ‫‪0.20‬‬
‫∞→𝑛‬
‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.20‬‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫ومنه‪:‬‬
‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.20‬‬
‫‪𝑙𝑖𝑚 𝑃𝑛 = 0‬‬ ‫‪1‬‬ ‫‪0 0.4‬‬ ‫‪0.4‬‬ ‫‪0.20‬‬
‫∞→𝑛‬
‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.20‬‬

‫‪𝑙𝑖𝑚 𝑃𝑛 = 0.4‬‬ ‫‪0.4‬‬ ‫‪0.2‬‬

‫∞→𝑛‬

‫أي بعد استقرار المنبع‬

‫يصبح احتمال ظهور كل من الحرفين ‪ A‬و ‪ B‬مساويا ‪،0.4‬‬
‫ويصبح احتمال ظهور الحرف ‪ C‬مساويا ‪.0.2‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫افترض اآلن أن الحرف الحالي هو 𝐿𝑈‪ ،‬ولنرمز الحتماالت مصفوفة العبور كالتالي‪:‬‬
‫‪1‬‬
‫= 𝐴 = ‪𝑥1 = 𝑃 𝑈𝐿 = 𝐴 𝑈𝐿−1‬‬
‫‪2‬‬
‫‪1‬‬
‫= 𝐵 = ‪𝑥2 = 𝑃 𝑈𝐿 = 𝐴 𝑈𝐿−1‬‬
‫‪2‬‬
‫‪𝑥3 = 𝑃 𝑈𝐿 = 𝐴 𝑈𝐿−1 = 𝐶 = 0‬‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫‪1‬‬
‫= 𝐴 = ‪𝑦1 = 𝑃 𝑈𝐿 = 𝐵 𝑈𝐿−1‬‬
‫‪2‬‬
‫‪𝑦2 = 𝑃 𝑈𝐿 = 𝐵 𝑈𝐿−1 = 𝐵 = 0‬‬
‫‪𝑦3 = 𝑃 𝑈𝐿 = 𝐵 𝑈𝐿−1 = 𝐶 = 1‬‬

‫‪𝑧1 = 𝑃 𝑈𝐿 = 𝐶 𝑈𝐿−1 = 𝐴 = 0‬‬

‫‪1‬‬
‫= 𝐵 = ‪𝑧2 = 𝑃 𝑈𝐿 = 𝐶 𝑈𝐿−1‬‬
‫‪2‬‬
‫‪𝑧3 = 𝑃 𝑈𝐿 = 𝐶 𝑈𝐿−1 = 𝐶 = 0‬‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫مما تقدم يمكن حساب اإلنتروبي الشرطي لهذا المنبع كالتالي‪:‬‬

‫‪𝐻 𝑈𝐿 𝑈𝐿−1 = 𝐴 = −𝑥1 𝑙𝑜𝑔𝑥1 − 𝑦1 𝑙𝑜𝑔𝑦1 − 𝑧1 𝑙𝑜𝑔𝑧1‬‬

‫‪1‬‬ ‫‪1 1‬‬ ‫‪1‬‬
‫‪= − 𝑙𝑜𝑔 − 𝑙𝑜𝑔 − 0𝑙𝑜𝑔0‬‬
‫‪2‬‬ ‫‪2 2‬‬ ‫‪2‬‬
‫𝑡𝑖𝑏 ‪= 𝑙𝑜𝑔2 = 1‬‬
‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫‪𝐻 𝑈𝐿 𝑈𝐿−1 = 𝐵 = −𝑥2 𝑙𝑜𝑔𝑥2 − 𝑦2 𝑙𝑜𝑔𝑦2 − 𝑧2 𝑙𝑜𝑔𝑧2‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫𝑔𝑜𝑙 ‪= − 𝑙𝑜𝑔 − 0𝑙𝑜𝑔0 −‬‬
‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬ ‫‪2‬‬
‫𝑡𝑖𝑏 ‪= 𝑙𝑜𝑔2 = 1‬‬
‫‪𝐻 𝑈𝐿 𝑈𝐿−1 = 𝐶 = −𝑥3 𝑙𝑜𝑔𝑥3 − 𝑦3 𝑙𝑜𝑔𝑦3 − 𝑧3 𝑙𝑜𝑔𝑧3‬‬
‫‪= −0𝑙𝑜𝑔0 − 1 𝑙𝑜𝑔1 − 0𝑙𝑜𝑔0‬‬
‫‪=0‬‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬
‫اإلنتروبي الوسطي لهذا المنبع يعطى بـ‪:‬‬
‫𝐶‬

‫𝑖 = ‪𝑙𝑖𝑚 𝐻 𝑈𝑛 𝑈𝑛−1 = 𝑙𝑖𝑚 ෍ 𝑃 𝑈𝑛−1 = 𝑖 × 𝐻 𝑈𝑛 𝑈𝑛−1‬‬

‫∞→𝑛‬ ‫∞→𝑛‬
‫𝐴=𝑖‬

‫𝐶 ‪𝑖 = 𝐴, 𝐵,‬‬

‫𝑙𝑜𝑏𝑚𝑦𝑠‪𝑙𝑖𝑚 𝐻 𝑈𝑛 𝑈𝑛−1 = 0.4 × 1 + 0.4 × 1 + 0.2 × 0 = 0.8 𝑏𝑖𝑡/‬‬

‫∞→𝑛‬
 ‫إنتروبي المنبع ذي الذاكرة‬ ‫ترميز المنبع‬

‫لو لم تكن الرموز الالحقة تعتمد على الرموز السابقة‪ ،‬أي لو كانت مستقلة بعضا عن بعض‪،‬‬
‫وكانت احتماالت ظهورها متساوية(تساوي ‪ ،)1Τ3‬لكان اإلنتروبي الوسطي للمنبع‪:‬‬

‫‪H UL = log 3 = 1.585 bit/symbol‬‬

‫هذا يعني أن إنتروبي المنبع‪ ،‬أو االرتياب فيه قد انخفض من‬

‫𝟓𝟖𝟓‪ 𝟏.‬بت للرمز إلى 𝟖‪ 𝟎.‬بت للرمز‪ ،‬أي بمقدار ‪ 0.785‬بت للرمز‪.‬‬
‫وهذا ناجم عن معرفتنا القبلية بأرجحية الحرف الالحق‪.‬‬
 ‫الفائض ‪Redundancy‬‬ ‫ترميز المنبع‬
‫افترض‪:‬‬
‫أن منبع الرموز ذو ذاكرة‪ ،‬أي إن رموز خرجه ليست مستقلة بعضا عن‬ ‫•‬
‫بعض‪،‬‬
‫وأن الرمز يمكن أن يأخذ قيمة من ‪ N‬قيمة مختلفة (‪ 3‬في المثال‬ ‫•‬
‫السابق)‪،‬‬
‫وأن إنتروبي المنبع هو‪،𝐻∞ 𝑈 :‬‬ ‫•‬
‫وأن اإلنتروبي األعظمي للمنبع هو 𝑋𝐴𝑀𝐻‪( ،‬وهو اإلنتروبي الحاصل‬ ‫•‬
‫عندما تكون الرموز مستقلة عن بعضها ولها نفس االحتمال)‪:‬‬
 ‫الفائض‬ ‫ترميز المنبع‬
‫نعرف فائض إنتروبي المنبع بـ‪:‬‬
‫ِّ ّ‬
‫𝑈 ∞𝐻‬
‫‪𝑟 =1−‬‬
‫𝑋𝐴𝑀𝐻‬
‫حيث‪𝐻𝑀𝐴𝑋 = 𝑙𝑜𝑔 𝑁 :‬‬

‫الحظ أنه في حالة الرموز المستقلة عن بعضها يكون‪:‬‬

‫𝑋𝐴𝑀𝐻 = 𝑈 ∞𝐻‬
‫‪𝑟=0‬‬
 ‫الفائض في اللغة‬ ‫ترميز المنبع‬
‫• من أجل اللغة العربية‪ .𝐻𝑀𝐴𝑋 = 4.86 ،‬وتبين الدراسات اإلحصائية‬
‫المجراة على اللغة العربية (على مستوى الكلمات) أن‪:‬‬
‫𝑙𝑜𝑏𝑚𝑦𝑠‪𝐻∞ 𝑈 = 2.4 𝑏𝑖𝑡/‬‬
‫لذا يكون فائض إنتروبي اللغة العربية‪:‬‬
‫‪𝑟 ≈ 0.5‬‬
 ‫الفائض في اللغة‬ ‫ترميز المنبع‬

‫• ومن أجل اللغة اإلنكليزية‪ .𝐻𝑀𝐴𝑋 = 4.75 ،‬وتبين الدراسات‬

‫اإلحصائية المجراة على اللغة اإلنكليزية (على مستوى الكلمات) أن‪:‬‬
‫𝑙𝑜𝑏𝑚𝑦𝑠‪𝐻∞ 𝑈 = 2.3 𝑏𝑖𝑡/‬‬
‫لذا يكون فائض إنتروبي اللغة العربية‪:‬‬
‫‪𝑟 ≈ 0.516‬‬
 ‫الفائض في اللغة‬ ‫ترميز المنبع‬

‫ماذا يعني الفائض في اللغة؟‬

‫الفائض الصفري‪:‬‬
‫يعني الفائض الصفري في اللغة أن جميع التراكيب الممكن تكوينها بواسطة‬
‫أحرفها هي تراكيب لغوية فعلية‪ .‬فإذا حصل خطأ في حرف لسبب ما (أثناء‬
‫النقل على خط االتصال مثال)‪ ،‬تغير معنى الكلمة أو الجملة‪.‬‬
 ‫الفائض في اللغة‬ ‫ترميز المنبع‬
‫ماذا يعني الفائض في اللغة؟‬

‫الفائض غير الصفري‪:‬‬

‫الفائض غير الصفري‪ ،‬فيعني إمكان تجاهل الخطأ وأخذ أقرب كلمة للكلمة‬
‫التي فيها خطأ‪ .‬طبعا‪ ،‬الفائض غير الصفري يعني هدر جزء من إمكانات‬
‫اللغة في التعبير‪ ،‬إال أن عدد األحرف الكبير نسبيا‪ ،‬يجعل الجزء المستعمل‬
‫فعال من التراكيب اللغوية أصغر كثيرا جدا من إمكانات اللغة في حالة‬
‫الفائض غير الصفري‪.‬‬
 ‫الفائض في اللغة‬ ‫ترميز المنبع‬

‫حين تأليف نص باللغة العربية‪ ،‬نختار ‪ %50‬تقريبا من األحرف اختيارا‬

‫حرا تبعا للموضوع الذي نريد التعبير عنه‪ ،‬في حين أن الـ ‪ %50‬األخرى‬
‫يفرضها عدم تساوي احتماالت ظهور الحروف والكلمات‪ ،‬أو اعتماد‬
‫الحرف أو الكلمة الالحقين على سابقيهما‪.‬‬
 ‫الفائض في اللغة‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫الثنائيات في العربية محدودة العدد جدا‪:‬‬
‫في‪ ،‬من‪ ،‬عن‪ ،‬إن‪ ،‬ال‪ ،‬أو‪ ،‬أم‪ ،‬أب‪ ،‬جد‪...‬‬
‫في حين أن عدد الثنائيات الممكنة يساوي ‪ 841 =29×29‬ثنائية‪.‬‬
‫وينطبق األمر نفسه على الثالثيات والرباعيات‪...‬‬
‫تجاهلنا في هذا التحليل الحركات‪ ،‬ولو أدخلناها االزداد عدد أحرف األبجدية‬
‫بمقدار ‪.3‬‬
‫وتنطبق مفاهيم مشابهة على اللغات األخرى أيضا‪.‬‬
 ‫الفائض في الذاكرة‬ ‫ترميز المنبع‬
‫ماذا يعني الفائض في منظومات الذاكرة؟‬
‫مثال‪:‬‬
‫يتخذ القالب (‪ )flip flop‬إحدى وضعيتين ‪ 0‬أو ‪ .1‬ولذا نقول أنه يمكن أن‬
‫يخزن‪:‬‬
‫𝑡𝑖𝑏 ‪𝐼 = 𝑙𝑜𝑔 2 = 1‬‬
‫إذا كانت الوضعيتان متساويتي االحتمال‪ .‬وهذه هي قيمة اإلنتروبي‬
‫األعظمي للقالب‪.‬‬
 ‫الفائض في الذاكرة‬ ‫ترميز المنبع‬
‫وإذا كان احتماال الوضعيتين غير متساويين‪ ،‬مثال‪:‬‬
‫‪𝑃 1 = 0.3‬‬ ‫;‬ ‫‪𝑝 0 = 0.7‬‬
‫كان اإلنتروبي‪:‬‬
‫‪I‬‬
‫‪𝐻 = − 0.3 𝑙𝑜𝑔2 0.3 + 0.7 𝑙𝑜𝑔2 0.7 = 0.881‬‬
‫وحينئذ يكون الفائض في إنتروبي القالب‪:‬‬
‫‪0.881‬‬
‫‪𝑟 =1−‬‬ ‫‪= 0.119 bit/state‬‬
‫‪1‬‬
‫و هذا يمثل هدرا في قدرة القالب على الخزن‪.‬‬
 ‫الفائض‬ ‫ترميز المنبع‬

‫يمثل الفائض غير الصفري دائما هدرا في إمكانات المنظومة على التعبير‬
‫عن المعلومات‪ ،‬وهذا الهدر يمكن أن يكون‪:‬‬
‫• مفيدا في الحاالت التي تتطلب حماية من األخطاء‪.‬‬
‫• ضارا في الحاالت األخرى‪.‬‬
‫‪ENTROPY RATE‬‬ ‫معدل اإلنتروبي‬ ‫ترميز المنبع‬
‫فيما تقدم‪ ،‬اقتصر اهتمامنا على إنتروبي المنبع للرمز‪ .‬فإذا كان المنبع يعطي‬
‫نعرف معدل اإلنتروبي بـ‪:‬‬‫الرموز بمعدل 𝑈 𝐷 رمزا في الثانية‪ ،‬فإننا ّ‬

‫𝑈 𝐷 𝑈 ∞𝐻 = ‪𝐻 ′‬‬
‫واحدة معدل اإلنتروبي‪:‬‬
‫𝑐𝑒𝑠‪𝑏𝑖𝑡Τ𝑠𝑦𝑚𝑏𝑜𝑙 × 𝑠𝑦𝑚𝑏𝑜𝑙Τ𝑠𝑒𝑐 = 𝑏𝑖𝑡Τ‬‬

‫معدل اإلنتروبي هو مقدار المعلومات الوسطي التي يعطيها المنبع‬

‫في الثانية‪ ،‬ويقدر بالبت في الثانية‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫‪THE SOURCE CODING‬‬
‫‪PROBLEM‬‬
‫تنحصر مسألة ترميز منبع المعلومات في اإلجابة عن ‪ 3‬أسئلة‪:‬‬
‫• هل من الممكن ضغط المعلومات التي يعطيها المنبع؟‬
‫• ما هو عدد البتات األصغري الالزم لتمثيل رمز معلومات واحد؟‬
‫• كيف نصمم خوارزمية لتحقيق ضغط جيد للمعلومات؟‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫لدينا منبع عديم الذاكرة يعطي في خرجه الرموز 𝐷‪ 𝐴,𝐵,𝐶,‬باالحتماالت التالية‪:‬‬
‫‪𝑃 𝐴 = 1Τ2 ; 𝑃 𝐵 = 1Τ4 ; 𝑃 𝐶 = 1Τ8 ; 𝑃 𝐷 = 1Τ8‬‬
‫نرغب في حفظ ‪ 1000‬رمز من هذه الرموز على شكل بتات في ملف بأصغر حجم‬
‫ممكن‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫الحل‪:‬‬
‫نظرا إلى أن عدد الرموز هو ‪ ،4‬أي ‪ ،22‬يمكن تخصيص كلمة رمز مؤلفة من ‪ 2‬بت‬
‫لكل منها وفقا لما يلي‪:‬‬
‫‪A → 00 ; B → 01 ; C → 10 ; D → 11‬‬
‫ومن ثم‪ ،‬فإن ترميز الـ ‪ 1000‬رمز يتطلب ملفا حجمه ‪ 2×1000‬بت = ‪ 2000‬بت‪.‬‬
‫هل ثمة طريقة أخرى للترميز تجعل حجم الملف أصغر؟‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫نظرا إلى أن الرموز غير متساوية االحتماالت‪ ،‬يمكن أن نفكر بطريقة ال يكون فيها‬
‫عدد البتات المخصصة للرموز متساويا‪ ،‬بل نخصص كلمات رمز ذات عدد صغير‬
‫من البتات للرموز التي هي أكثر تكرارا‪ ،‬وكلمات أطول للرموز التي هي أعلى‬
‫احتماال‪ .‬مثال‪:‬‬
‫‪A ← 1 ; B ← 01 ; C ← 000 ; D ← 001‬‬
‫نسمي هذا النوع من الترميز بالترميز المتغير الطول تمييزا له عن الترميز السابق‬
‫الثابت الطول‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫من ناحية أخرى‪ ،‬نتوقع أن نجد ضمن الـ ‪ 1000‬رمز‪:‬‬
‫"‪1000 × 1Τ2 = 500 "A‬‬
‫"‪1000 × 1Τ4 = 250 "B‬‬
‫"‪1000 × 1Τ8 = 125 "C‬‬
‫"‪1000 × 1Τ2 = 125 "D‬‬
‫وبذلك ينخفض حجم الملف إلى‪:‬‬
‫‪500 × 1 + 250 × 2 + 125 × 3 + 125 × 3 = 1750 bit‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫وهذا حجم أصغر من الحجم السابق بـ‪:‬‬

‫‪2000 − 1750 Τ2000 = 12.5%‬‬

‫وسطيا‪ُ ،‬خ ّ‬
‫صص كل رمز بـ ‪ 1.75‬بت بدال من بتين‪.‬‬

‫بتخصيص كلمات الرمز ‪ Code Words‬التي هي أقصر للرموز األعلى احتماال‪،‬‬

‫والكلمات التي هي أطول للرموز األقل احتماال‪،‬‬
‫تمكنا من تصغير حجم الملف من دون أي فقد في المعلومات‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬

‫هل ثمة خوارزمية لتخصيص أمثلي لكلمات الرمز للرموز غير‬

‫المتساوية االحتماالت؟‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫أوال‪ :‬وحدانية فك الترميز‬
‫لنفترض استعمال كلمات الرمز التالية‪:‬‬
‫‪𝐴 ← 1 ; 𝐵 ← 01 ; 𝐶 ← 010 ; 𝐷 ← 001‬‬
‫ولنفترض أن لدينا سلسلة الرموز التالية التي نرغب في ترميزها‪:‬‬
‫‪D, C, B , A, A, A, B, B, A, C, B, D‬‬
‫حينئذ سوف تكون سلسلة البتات الناتجة عن الترميز كالتالي‪:‬‬
‫‪001010011110101101001001‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫إذا أردنا اآلن فك ترميز السلسلة الستعادة الرموز‪ ،‬نقوم بالتبديل المعاكس‪:‬‬
‫… ‪DBDAAA‬‬
‫من الواضح أن السلسلة المستعادة خاطئة‪ ،‬أي إن الترميز المستعمل غير مالئم‪:‬‬

‫يجب أن يكون الترميز قابال لفك الترميز على نحو وحيد‬

‫معاكس تماما لعملية الترميز‬
‫‪uniquely decipherable‬‬
‫ليست جميع خيارات تخصيص كلمات الرمز للرموز مقبولة‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫لنفترض استعمال كلمات الرمز التالية‪:‬‬
‫‪𝐴 ← 1 ; 𝐵 ← 01 ; 𝐶 ← 000 ; 𝐷 ← 001‬‬
‫حينئذ تعطي السلسلة السابقة ‪D, C, B , A, A, A, B, B, A, C, B, D‬‬
‫سلسلة البتات التالية‪001000011110101100001001 :‬‬
‫فإذا عملنا على فك ترميز هذه السلسلة بالتبديل المعاكس حصلنا على‪:‬‬
‫‪DCBAAABBACBD‬‬
‫وهي سلسلة صحيحة‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫ثانيا‪ :‬فورية فك الترميز‬
‫يجب أن يكون الرماز المستعمل آني فك الترميز ‪instantaneous code‬‬
‫أي يجب أن يكون باإلمكان البدء بفك ترميز الكلمة فور وصول آخر بت منها‪ .‬يجب‬
‫أال ننتظر حتى وصول أكثر من كلمة واحدة من أجل فك ترميز الكلمة الحالية‪.‬‬
‫بمجرد االنتهاء من فك ترميز الكلمة السابقة‪ ،‬نعرف أن البت التالية هي أول بت من‬
‫كلمة ترميز جديدة‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬

‫الرماز ذو البادئة ‪: prefix code‬‬

‫الرماز ذو البادئة هو الرماز الذي ال تكون فيه أي كلمة رماز جزءا من‬
‫مقدمة كلمة رماز أخرى‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫في الرماز التالي‪:‬‬
‫‪𝐴 ← 1 ; 𝐵 ← 01 ; 𝐶 ← 010 ; 𝐷 ← 001‬‬
‫تأتي كلمة الرمز ‪ B ← 01‬في مقدمة كلمة الرمز ‪.𝐶 ← 010‬‬

‫ولذا هذا الرماز ليس رماز بادئة‪.‬‬

 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫الرماز التالي‪:‬‬
‫‪𝐴 ← 1 ; 𝐵 ← 01 ; 𝐶 ← 000 ; 𝐷 ← 001‬‬
‫ال توجد أي كلمة رماز في مقدمة أي كلمة رماز أخرى‪.‬‬

‫ولذا يكون رماز بادئة‪.‬‬

 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫نتيجة‪:‬‬
‫كل رماز ذي بادئة هو رماز وحيد فك الترميز حتما‪.‬‬

‫• العكس ليس صحيحا‪ ،‬إذ يمكن للرماز أال يكون ذا بادئة وأن يكون في نفس‬
‫الوقت وحيد فك الترميز‪.‬‬
‫• الرماز ذو البادئة هو رماز آني‪ ،‬والعكس صحيح‪.‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬

‫نظرية (متراجحة) كرافت ‪:Kraft’s (inequality) theorem‬‬

‫ليكن ‪ s‬عدد القيم التي يمكن ألبجدية أن تتخذها‪ .‬مثال‪ ،‬في األبجدية ‪، 0,1‬‬ ‫•‬
‫‪ ،s=2‬وفي األبجدية ‪ ..s=3 ، 0,1,2‬إلخ‪.‬‬
‫ولتكن لدينا مجموعة كلمات رماز مكونة من 𝑟 كلمة ‪𝑤0 ,𝑤1 , ⋯ ,𝑤𝑟−1‬‬ ‫•‬
‫أطوالها معطاة بـ ‪. 𝑛0 ,𝑛1 , ⋯ ,𝑛𝑟−1‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫يمكن البرهان على أنه يمكن تكوين رماز ذي بادئة من هذه الكلمات إذا‬
‫كان‪:‬‬
‫𝟏‪𝒓−‬‬

‫𝟏 ≤ 𝒊𝒏‪෍ 𝒔−‬‬
‫𝟎=𝒊‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫في المثالين السابقين كان لدينا‪:‬‬
‫‪𝑠 = 2, 𝑟 = 4, 𝑛0 = 1, 𝑛1 = 2, 𝑛2 = 3, 𝑛3 = 3‬‬
‫ومن ثم‪:‬‬
‫𝑖𝑛‪𝑟−1 −‬‬
‫𝑠 ‪σ𝑖=0‬‬ ‫‪= 2−1 + 2−2 + 2−3 +2−3 =1‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬
‫إذن‪ ،‬يمكن تكوين رمازات ذات بادئة بهذه المواصفات‪ ،‬ومثالها هو‪:‬‬
‫‪𝐴 ← 1 ; 𝐵 ← 01 ; 𝐶 ← 000 ; 𝐷 ← 001‬‬

‫هذا ال يعني أن كل الرمازات التي لها نفس المواصفات يمكن أن تكون ذات بادئة‬
‫حتما‪ .‬ومثال ذلك الرماز التالي‪:‬‬
‫‪𝐴 ← 1 ; 𝐵 ← 01 ; 𝐶 ← 010 ; 𝐷 ← 001‬‬
‫ففي كال الحالتين تتحقق نفس المواصفات‪:‬‬
‫‪𝑠 = 2, 𝑟 = 4, 𝑛0 = 1, 𝑛1 = 2, 𝑛2 = 3, 𝑛3 = 3‬‬
 ‫مسألة ترميز المنبع‬ ‫ترميز المنبع‬

‫نظرية مكميالن ‪:McMillan’s theorem‬‬

‫الرماز الوحيد فك الترميز يحقق متراجحة كرافت‬

 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫خوارزمية َهفمان ‪:HUFFMAN ALGORITHM‬‬

‫تم ّكن خوارزمية هفمان من إنشاء ترميز ذي بادئة باستعمال شجرة متفرعة اثنانيا‬
‫‪ ،binary tree‬وتكون كلمات الرماز األعلى احتماال أقصر طوال‪ ،‬واألقل احتماال‬
‫أكبر طوال‪.‬‬
 ‫ضغط المعلومات‬ ‫ترميز المنبع‬

‫مثال لشجرة رماز هفمان‬

‫شجرة متفرعة اثنانيا‬

 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫مثال‪:‬‬
‫منبع يعطي الرموز ( ‪ )A, B, C, D, E, F, G‬باالحتماالت التالية‪:‬‬
‫‪P A = 0.16‬‬
‫‪P B = 0.17‬‬
‫‪P C = 0.4‬‬
‫‪P D = 0.14‬‬
‫‪P E = 0.02‬‬
‫‪P F = 0.02‬‬
‫‪P G = 0.09‬‬
 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫‪C‬‬ ‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.4 0.4‬‬ ‫‪0.4 1.0‬‬ ‫• نُنشئ جدوال نضع في عموديه‬
‫‪B 0.17 0.17 0.17 0.27 0.33 0.6‬‬ ‫األيسرين الرموز واحتماالتها مرتبة‬
‫‪A 0.16 0.16 0.16 0.17 0.27‬‬ ‫تنازليا‪.‬‬
‫‪D 0.14 0.14 0.14 0.16‬‬
‫• نأخذ أصغر احتمالين ونجمعهما‬
‫ونضع المجموع مع بقية االحتماالت‬
‫‪G 0.09‬‬ ‫‪0.09 0.13‬‬
‫في العمود الثالث من اليسار ونرتب‬
‫‪E 0.02 0.04‬‬ ‫القيم تنازليا من األعلى إلى األسفل‪.‬‬
‫‪F‬‬ ‫‪0.02‬‬ ‫• نكرر العملية حتى يصبح في أعلى‬
‫العمود األيمن احتمال يساوي ‪.1‬‬
 ‫كلمات الرماز‬
‫الناتجة‬ ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫‪1‬‬ ‫‪C‬‬ ‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪0.4‬‬ ‫‪1.0‬‬
‫‪000‬‬ ‫‪B‬‬ ‫‪0.17‬‬ ‫‪0.17‬‬ ‫‪0.17‬‬ ‫‪0.27‬‬ ‫‪0.33 0.6‬‬
‫‪001‬‬ ‫‪A‬‬ ‫‪0.16‬‬ ‫‪0.16‬‬ ‫‪0.16‬‬ ‫‪0.17 0.27‬‬
‫‪0‬‬ ‫‪1.0‬‬ ‫‪1‬‬
‫‪010‬‬ ‫‪D‬‬ ‫‪0.14‬‬ ‫‪0.14‬‬ ‫‪0.14‬‬ ‫‪0.16‬‬
‫‪0111‬‬ ‫‪G‬‬ ‫‪0.09‬‬ ‫‪0.09‬‬ ‫‪0.13‬‬ ‫‪0.6‬‬ ‫‪0.4‬‬
‫‪0‬‬ ‫‪1‬‬
‫‪01100‬‬ ‫‪E‬‬ ‫‪0.02‬‬ ‫‪0.04‬‬
‫‪01101‬‬ ‫‪F‬‬ ‫‪0.02‬‬ ‫‪0.33‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪0.27‬‬
‫ننشئ شجرة اثنانية ابتداء من االحتمال ‪ 1‬ونفرع‬ ‫‪0‬‬
‫‪1‬‬
‫‪0.16‬‬
‫الشجرة تبعا لتفرع االحتماالت نزوال‪ .‬نُر ِّجع كل‬ ‫‪0.17‬‬
‫‪0.14‬‬ ‫‪0.13‬‬
‫احتمال في عمود أيمن إلى القيمتين اللتين أتى‬ ‫‪0‬‬
‫‪1‬‬

‫منهما من العمود الواقع إلى يساره‪ .‬ونكون عقدا‬

‫‪0.04‬‬ ‫‪0.09‬‬
‫في نهايات الفروع حتى نصل إلى احتماالت‬ ‫‪0‬‬ ‫‪1‬‬
‫الرموز األساسية‪.‬‬ ‫‪0.02‬‬ ‫‪0.02‬‬
 ‫كلمات الرمز‬ ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫الناتجة‬

‫‪1‬‬ ‫‪C‬‬ ‫‪0.4‬‬

‫الحظ‪:‬‬
‫‪000‬‬ ‫‪B‬‬ ‫‪0.17‬‬
‫• ال توجد كلمة رماز في مقدمة أي كلمة أخرى‪ .‬لذا يكون الرماز‬
‫‪001‬‬ ‫‪A‬‬ ‫‪0.16‬‬ ‫الناتج رماز بادئة‪.‬‬
‫‪010‬‬ ‫‪D‬‬ ‫‪0.14‬‬ ‫• أقصر كلمة مؤلفة من بت واحدة‪ ،‬وأطول كلمة مكونة من ‪5‬‬
‫‪0111‬‬ ‫‪G‬‬ ‫‪0.09‬‬ ‫بتات‪.‬‬
‫• طول كلمة الرماز الوسطي‪:‬‬
‫‪01100‬‬ ‫‪E‬‬ ‫‪0.02‬‬
‫‪01101‬‬ ‫‪F‬‬ ‫‪0.02‬‬ ‫‪L = 2.37 bit/symbol‬‬
 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫خصائص رماز هفمان‪:‬‬
‫• رماز هفمان ال فقدي ‪ .lossless‬أي إنه يعطي نفس المعلومات حين فك‬
‫ترميزها‪.‬‬
‫• إذا حصل خطأ في بت لسبب ما‪ ،‬انحصر ذلك الخطأ في كلمة الرماز التي تنتمي‬
‫إليها البت وربما في بضع كلمات الرمز الالحقة‪ .‬ثم تعود عملية فك الترميز إلى‬
‫التزامن من جديد‪ .‬ولذا يُعتبر ترميز هفمان ذاتي التصحيح‪.‬‬
 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫خوارزميات ضغط المعلومات الالفقدية‪:‬‬

‫• خوارزمية هفمان‪.‬‬
‫• خوارزمية ‪( LZ 78‬وضعها ‪ ) Jacob Ziv and Abraham Lempel‬في عام‬
‫‪.1978‬‬
‫• الخوارزمية دفليت ‪ DEFLATE‬هي تطوير مستمثل لها من أجل زيادة سرعتها‪،‬‬
‫وهي مستعملة في ‪.PKZIP, Gzip, PNG‬‬
 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫خوارزميات ضغط المعلومات الفقدية ‪:Lossy compression‬‬

‫يُقبل في هذه الطرائق فقد بعض المعلومات غير الهامة بغية تقليل حجم الذاكرة‬
‫المستعملة للخزن‪ .‬على سبيل المثال‪ ،‬في حالة الصورة‪ ،‬تتصف عين البشر بكونها‬
‫أشد حساسية لالختالفات في السطوع منها لأللوان‪ .‬لذا تعمل خوارزمية ‪ JPEG‬في‬
‫جزء منها على بتر البتات غير األساسية‪.‬‬
 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫خوارزميات ضغط المعلومات الفقدي‪ :‬تحويل فورييه المقطع‬
‫)‪Discrete Cosine Transform (DCT‬‬
‫• تحويل رياضياتي لتمثيل اإلشارة مشتق من تحويل فورييه‪.‬‬
‫• يُدرس عادة في إطار معالجة اإلشارة‪ ،‬وخاصة إشارة الصورة‪.‬‬
‫• يعطي هذا التحويل في خرجه عينات (طيفية!) تحتوي الكبيرة منها على المعلومات‬
‫األساسية عن الصورة‪ ،‬في حين أن العينات ذات القيم الصغيرة ال تحتوي على‬
‫معلومات مهمة‪ ،‬ولذلك تُهمل‪ ،‬وهذا يؤدي إلى تقليص كمية المعلومات المتبقية‪.‬‬
‫وبعد إجراء التحويل المعاكس‪ ،‬تُستعاد الصورة مع تشويه بسيط يكاد ال يُرى‪.‬‬
‫• هذا التحويل هو لب خوارزمية الضغط ‪ MP3‬و ‪.JPEG‬‬
 ‫ضغط المعلومات‬ ‫ترميز المنبع‬
‫خوارزميات ضغط المعلومات الفقدي‪ :‬الفوكودر ‪Vocoder‬‬
‫• يُستعمل لضغط اإلشارة الكالمية‪.‬‬
‫• يعتمد على استخالص بارامترات تركيب اإلشارة الكالمية من اإلشارة األصلية‪،‬‬
‫وبعد نقلها‪ ،‬يستعمل تلك البارامترات لتركيب اإلشارة الكالمية من جديد‪.‬‬
‫• يتصف الكالم الناتج بعد التركيب بكونه آليا (روبوتيا)‪.‬‬
‫• كلما كانت نسبة الضغط أكبر أصبحت صفة اآللية أوضح‪ .‬والعكس صحيح‪.‬‬
‫• يمكن بهذه الطريقة الوصول إلى نسب ضغط تصل حتى ‪ 26‬مرة‪.‬‬
‫• الطريقة مستعملة في الهاتف الخلوي حيث تصل نسبة الضغط إلى ‪ 4‬مرات‪.‬‬
 ‫‪Channel Coding‬‬ ‫ترميز القناة‬

‫الغاية من ترميز القناة هي إعداد البيانات بحيث يمكن نقلها على‬

‫خط اتصال مضجج بأعلى سرعة ممكنة واستعادتها في طرف‬
‫المستقبل خالية من األخطاء‬
 ‫نظام االتصال‬ ‫ترميز القناة‬
‫منبع‬ ‫مصب‬
‫مر ّمز المعلومات‬ ‫مر ّمز‬ ‫مفكك ترميز‬ ‫مفكك ترميز‬ ‫المعلومات‬
‫قناة‬
‫المنبع‬ ‫القناة‬ ‫القناة‬ ‫المنبع‬
‫‪Source‬‬ ‫‪Channel‬‬ ‫‪Channel‬‬ ‫‪Source‬‬
‫‪Channel‬‬
‫‪coder‬‬ ‫‪coder‬‬ ‫‪decoder‬‬ ‫‪decoder‬‬

‫‪Reconstructed‬‬
‫‪Information‬‬
‫‪Information‬‬
‫‪Source‬‬
 ‫قناة االتصال‬ ‫ترميز القناة‬

‫سلة‬
‫معلومات مرمزة مر َ‬ ‫معلومات مرمزة‬
‫قناة‬
‫مضججة مستقبلة‬

‫قناة االتصال‪:‬‬
‫سلكين نحاسيين (دارة هاتفية)‪ ،‬ليف ضوئي‪ ،‬وصلة السلكية بالترددات المتوسطة‬
‫والقصيرة والعالية والمكروية‪ ،‬وصلة فضائية‪.‬‬
 ‫‪Noise‬‬ ‫قناة االتصال‪ :‬الضجيج‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫مضججة مستقبلة‬

‫الضجيج‪:‬‬
‫إشارة عشوائية تدخل على اإلشارة جمعا أو ضربا من مصدر خارجي‪ .‬وأهم أنواعه‪:‬‬
‫الضجيج الغوصي‪ ،‬الضجيج الرشقي‪ ،‬ضجيج التكميم‪ ،‬التسميع‪ ،‬الصدى‪ ،‬طنين‬
‫الخمسين هرتز‪.‬‬
 ‫قناة االتصال‪ :‬الضجيج‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫مضججة مستقبلة‬
‫الضجيج الغوصي‪:‬‬
‫ضجيج حراري يأتي من األجهزة اإللكترونية‪ .‬يعتبر ألطف أنواع الضجيج وأسهلها‬
‫معالجة من الناحية النظرية ألن نموذجه الرياضياتي معطى بتابع التوزع االحتمالي‬
‫الغوصي‪ .‬يسمى أيضا بالضجيج الطبيعي ‪ ،Normal Noise‬ألن التوزع الغوصي‬
‫يسمى بالتوزيع الطبيعي‪ .‬ويسمى أيضا بالضجيج األبيض ألت طيفه يمتد على كل‬
‫الترددات ∞‪. −∞,‬‬
 ‫قناة االتصال‪ :‬الضجيج‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫مضججة مستقبلة‬
‫الضجيج الرشقي‪:‬‬
‫• ضجيج يأتي من البيئة المحيطة‪ ،‬ويتخذ شكل رشقات غير منظمة وليس لها‬
‫نموذج رياضي محدد‪.‬‬
‫• من أمثلتها البرق واإلشارات الناجمة عن شمعات االشتعال في محركات‬
‫االحتراق الداخلي‪ ،‬و ُمق ِلعات مصابيح النيونات ومجففات الشعر (السيشوار)‬
‫وغيرها‪.‬‬
 ‫قناة االتصال‪ :‬الضجيج‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫مضججة مستقبلة‬

‫ضجيج التكميم‪:‬‬
‫• ضجيج يحصل حين تحويل اإلشارة التماثلية إلى إشارة رقمية‪ ،‬وينجم عن تدوير‬
‫قيم عينات اإلشارة الحقيقية إلى قيم مستويات التكميم‪.‬‬
‫• مدروس ومعروف‪.‬‬
 ‫قناة االتصال‪ :‬الضجيج‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫مضججة مستقبلة‬
‫التسميع‪:‬‬
‫• يأتي من تداخل قنوات االتصال فيما بينها‪.‬‬
‫• يحصل التسميع في القنوات الراديوية بسبب تراكب أطياف القنوات المختلفة‪ ،‬أو‬
‫عدم ترشيحها جيدا وإبقائها ضمن الحزمة الترددية المخصصة لها‪.‬‬
‫• يحصل التسميع في الدارات الهاتفية السلكية نتيجة للتحريض الكهرمغنطيسي بين‬
‫األسالك‪.‬‬
 ‫قناة االتصال‪ :‬الضجيج‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫مضججة مستقبلة‬

‫الصدى‪:‬‬
‫• يأتي من انعكاس اإلشارة عن نهايات مقاطع دارة االتصال المختلفة‪ .‬يكون‬
‫واضحا جدا في الوصالت الفضائية بسبب المدة الطويلة التي يستغرقها انتشار‬
‫اإلشارة إلى القمر الصنعي‪.‬‬
 ‫قناة االتصال‪ :‬الضجيج‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫مضججة مستقبلة‬

‫َ‬
‫هم ‪Hum‬‬ ‫طنين الخمسين هرتز‪:‬‬
‫يحصل نتيجة لتسرب إشارة شبكة الكهرباء العامة إلى خط االتصال‪ ،‬وغالبا ما‬
‫يال َحظ في الخطوط الهاتفية السلكية التي تختلف مواصفاتها عن المواصفات القياسية‪.‬‬
 ‫‪Distortion‬‬ ‫قناة االتصال‪ :‬التشويه‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬
‫مضججة مستقبلة‬
‫تشويه‬
‫التشويه‪:‬‬
‫يحصل بسبب الخطية تابع تحويل قناة االتصال‪ ،‬وينجم عن التخميد والتخميد المطالي‬
‫والتشويه الطوري والخطية العناصر اإللكترونية والخفوت والخفوت الترددي‬
‫االنتقائي‪.‬‬
 ‫قناة االتصال‪ :‬التشويه‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬
‫مضججة مستقبلة‬
‫تشويه‬

‫التخميد ‪:attenuation‬‬
‫يحصل التخميد نتيجة لضياع طاقة اإلشارة أثناء نقلها في مقاومة األسالك األومية أو‬
‫في عملية االنتشار الكهرمغنطيسي‪ .‬ينعكس التخميد على شكل انخفاض في نسبة‬
‫اإلشارة إلى الضجيج‪.‬‬
 ‫قناة االتصال‪ :‬التشويه‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬ ‫‪Att.‬‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬
‫مضججة مستقبلة‬
‫تشويه‬
‫‪fr‬‬

‫التخميد المطالي ‪:amplitude attenuation‬‬

‫ينجم التخميد المطالي عن عدم تمرير القناة كل الترددات الموجودة في طيف اإلشارة‬
‫بنفس المستوى‪ .‬فمثال‪ ،‬تمرر القنوات الهاتفية السلكية الترددات التي بجوار الـ‬
‫‪ 1000‬هرتز على نحو جيد‪ ،‬وتخ ّمد الترددات التي هي أقل وأكبر‪.‬‬
 ‫قناة االتصال‪ :‬التشويه‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬ ‫تشويه‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫‪Delay‬‬
‫مضججة مستقبلة‬
‫تشويه‬ ‫عدم تشويه‬

‫‪fr‬‬

‫التشويه الطوري ‪:phase distortion‬‬

‫ينجم التشويه الطوري عن تأخير القناة للترددات الموجودة في طيف اإلشارة بمدد‬
‫مختلفة‪.‬‬
 ‫قناة االتصال‪ :‬التشويه‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬ ‫عدم تشويه‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫‪Gain‬‬
‫مضججة مستقبلة‬
‫تشويه‬ ‫تشويه‬

‫‪V‬‬

‫الخطية العناصر اإللكترونية‪:‬‬

‫ينجم هذه التشويه عن تغير تكبير العناصر نصف الناقلة مع تغير جهد اإلشارة‬
‫الكهربائي‪ .‬تؤدي الالخطية إلى ظهور توافقيات في طيف اإلشارة‪.‬‬
 ‫قناة االتصال‪ :‬التشويه‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬
‫مضججة مستقبلة‬
‫تشويه‬
‫الخفوت ‪:fading‬‬
‫ينجم الخفوت عن تعدد مسارات اإلشارة ووصول عدة نسخ منها إلى المستقبل‬
‫بأطوار مختلفة تعمل على إضعافها وتقويتها على نحو دائم مع الزمن‪ .‬وتحصل‬
‫المسارات المتعددة بسبب انعكاس اإلشارة عن األبنية في حالة األمواج القصيرة جدا‪،‬‬
‫وعن طبقات الجو المتأينة في حالة األمواج القصيرة‪.‬‬
 ‫قناة االتصال‪ :‬التشويه‬ ‫ترميز القناة‬
‫ضجيج‬
‫معلومات‬ ‫معلومات مرمزة‬
‫سلة‬
‫مرمزة مر َ‬ ‫قناة‬ ‫‪Amp.‬‬
‫مضججة مستقبلة‬
‫تشويه‬
‫خفوت انتقائي‬
‫‪f‬‬

‫الخفوت الترددي االنتقائي ‪:frequency selective fading‬‬

‫نوع من الخفوت يحصل حزمة ترددية ضيقة‪ ،‬وليس على كامل حزمة اإلشارة‬
‫الترددية‪.‬‬
 ‫قناة االتصال‪ :‬تابع التحويل‬ ‫ترميز القناة‬
‫‪Transfer function‬‬ ‫) ‪s(t )   si  (t  iT‬‬
‫‪i‬‬

‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫)𝑡(‪ℎ‬‬

‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 ∗ ℎ(𝑡) +‬‬
‫𝑖‬
‫نموذج عام للقناة‬ ‫𝑡 𝑛‬
‫النموذج العام للقناة‪:‬‬
‫𝑖𝑠 سلسلة من بتات المعلومات تفصل بينها فواصل زمنية مقدار كل منها 𝑇 ثانية‪.‬‬
‫)𝑡(𝛿 تابع ديراك‪ 𝛿(𝑡 − 𝑖𝑇) .‬تابع ديراك في اللحظة 𝑇𝑖‪.‬‬
‫)𝑡(‪ ℎ‬االستجابة الزمنية للقناة الموافقة لتابع التحويل )𝑓(𝐻 في المجال الترددي‪.‬‬
 ‫قناة االتصال‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫)𝑡(‪ℎ‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 ∗ ℎ(𝑡) +‬‬
‫𝑖‬
‫نموذج عام للقناة‬ ‫𝑡 𝑛‬ ‫تالف‬

‫النموذج العام للقناة‪:‬‬

‫𝑡 𝑛 ضجيج القناة‬
‫𝑡 𝑦 خرج القناة‬
 ‫قناة االتصال‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫)𝑡(‪ℎ‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 ∗ ℎ(𝑡) +‬‬
‫𝑖‬
‫نموذج عام للقناة‬ ‫𝑡 𝑛‬
‫النموذج العام للقناة‪:‬‬
‫في الحالة العامة يؤدي التشويه إلى امتطاط رموز المعلومات في القناة‪ ،‬ومن ثم إلى‬
‫تراكبها وتداخلها فيما يسمى بالتداخل بين الرموز )‪.Intersymbol Inerference (ISI‬‬
 ‫قناة االتصال‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫)𝑡(‪ℎ‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 ∗ ℎ(𝑡) +‬‬
‫𝑖‬
‫نموذج عام للقناة‬ ‫𝑡 𝑛‬
‫النموذج العام للقناة‪:‬‬
‫𝒕 𝒉 تمثل مجمل أنواع التشويه الحاصل في القناة‬
‫𝒕 𝒏 تمثل مجمل أنواع الضجيج في القناة‬
 ‫قناة االتصال‪ :‬النموذج المبسط‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫نموذج مبسط للقناة‬ ‫𝑡 𝑛‬

‫النموذج المبسط للقناة‪:‬‬

‫قناة مثالية ال تُدخل تشويه في اإلشارة‪𝒉 𝒕 = 𝟏 :‬‬
‫ضجيج غوصي جمعي (حراري‪ ،‬أبيض‪ ،‬طبيعي)‪𝒏 𝒕 :‬‬
 ‫القناة االثنانية المتناظرة‬ ‫ترميز القناة‬
‫القناة االثنانية المتناظرة‬
‫هي قناة بسيطة ال تُدخل في اإلشارة تشويها‪ ،‬وتُدخل فيها ضجيجا غوصيا فقط‪.‬‬
‫‪1-p‬‬
‫‪1‬‬ ‫‪1‬‬
‫‪p‬‬ ‫تحصل أخطاء في نقل البيانات من المرسل إلى‬
‫‪p‬‬ ‫المستقبل باحتمال يساوي ‪ .p‬وهذا ينطبق على الواحدات‬
‫‪0‬‬ ‫‪0‬‬ ‫واألصفار‪.‬‬
‫‪1-p‬‬ ‫مستقبل‬ ‫تصل البت سليمة إلى المستقبل باحتمال يساوي ‪.1-p‬‬
‫مرسل‬
 ‫تابع االلتباس ‪equivocation‬‬ ‫ترميز القناة‬
‫افترض أننا أرسلنا سلسلة من الرموز 𝟏‪ 𝒙𝒊 ∈ 𝟎,‬بسرعة ‪ 1000‬رمز في الثانية‬
‫باحتمال‪:‬‬
‫𝟐‪𝒑𝟎 = 𝒑𝟏 = 𝟏Τ‬‬

‫أثناء النقل‪ ،‬يؤدي الضجيج إلى حصول أخطاء في اإلشارة المكشوفة في المستقبل‪،‬‬
‫أي أن الـ ‪ 0‬يُكشف على أنه ‪ ،1‬ويُكشف الـ ‪ 1‬على أنه ‪ .0‬فما هو معدل نقل‬
‫المعلومات حينئذ إذا كان معدل الخطأ ‪%1‬؟‬
 ‫تابع االلتباس‬ ‫ترميز القناة‬

‫بالتأكيد‪ ،‬سوف يكون المعدل أقل من ‪ 1000‬بت في الثانية بسبب وجود نسبة خطأ‬
‫تساوي ‪ .%1‬هذا يوحي بأن عدد األخطاء في الثانية يساوي ‪ ،10‬ومن ثم يكون‬
‫المعدل ‪ 990‬بت في الثانية‪.‬‬

‫لكن هذا غير صحيح ألنه ال يأخذ في الحسبان جهل المستقبل بمواقع األخطاء‪.‬‬
 ‫تابع االلتباس‬ ‫ترميز القناة‬
‫في الحالة المتطرفة عندما يكون الضجيج كبيرا بحيث تصبح الرموز المستقبلة‬
‫مستقلة تماما عن الرموز المرسلة‪ ،‬يكون احتمال استقبال ‪ 1‬أو ‪ 0‬مساويا‬
‫𝟐‪ 𝟏Τ‬بقطع النظر عن الرموز المرسلة‪ .‬ومن ث َ َّم‪ ،‬يكون نصف الرموز‬
‫المستقبلة صحيحا بالمصادفة البحتة‪ ،‬ونقول حينئذ‪ ،‬وفقا للحجة السابقة‪ ،‬أن‬
‫معدل اإلرسال هو ‪ 500‬بت في الثانية‪ ،‬في حين أنه ال تكون أية معلومات قد‬
‫أُرسلت‪ .‬ونحصل على نتيجة مماثلة لو استغنينا عن القناة كليا وولدنا رموزا‬
‫عشوائية في المستقبل بالطرة والنقش‪.‬‬
 ‫تابع االلتباس‬ ‫ترميز القناة‬
‫من الواضح أن اإلجراء الصحيح الذي يجب تطبيقه على المعلومات المرسلة هو‬
‫األخذ في الحسبان لتلك المعلومات المفقودة في طرف االستقبال‪ ،‬أو لالرتياب في‬
‫اإلشارة المستقبلة المقابلة إلشارة أرسلناها فعال‪ .‬ومن مناقشتنا السابقة لإلنتروبي‬
‫بصفته مقياسا لالرتياب يبدو من المعقول استعمال إنتروبيا مشروطا للرسالة‪،‬‬
‫استنادا إلى معرفتنا بالرسالة المستقبلة‪ ،‬ليكون مقياسا للمعلومات المفقودة‪ .‬بذلك‬
‫يكون معدل اإلرسال الفعلي 𝐑 هو حاصل طرح اإلنتربي الشرطي للرسالة المستقبلة‬
‫من إنتروبي الرسالة المرسلة‪:‬‬
‫𝑿 𝒀 𝑯‪𝑹=𝑯 𝑿 −‬‬
 ‫تابع االلتباس‬ ‫ترميز القناة‬
‫معدل اإلرسال هو المعلومات المشتركة بين الرموز المرسلة والرموز المستقبلة‪:‬‬

‫𝒀 𝑿 𝑯 ‪𝑹 𝑿,𝒀 = 𝑰 𝑿,𝒀 = 𝑯 𝑿 −‬‬

‫𝑿 𝒀 𝑯‪=𝑯 𝒀 −‬‬
‫حيث‪:‬‬

‫𝒀 𝑿 𝑷 𝒈𝒐𝒍 𝒀 𝑿 𝑷 ‪𝑯 𝑿 𝒀 = ෍‬‬
‫𝒀‪𝑿,‬‬
‫هو تابع االلتباس‪.‬‬
 ‫تابع االلتباس‬ ‫ترميز القناة‬

‫يسمى اإلنتروبي الشرطي 𝑋 𝑌 𝐻 بتابع االلتباس ألنه يمثل‬

‫المعلومات الملتبسة في المعلومات المستقبلة‪ .‬أي إنه يعبر عن‬
‫المعلومات المستقبلة التي فيها خطأ‪.‬‬
 ‫‪0.99‬‬
‫‪1‬‬
‫‪0.01‬‬
‫‪1‬‬
‫تابع االلتباس‬ ‫ترميز القناة‬
‫‪0.01‬‬
‫‪0‬‬ ‫‪0‬‬
‫‪0.99‬‬
‫مثال‪:‬‬
‫في المثال السابق لدينا‪:‬‬
‫‪P‬‬ ‫‪X=1‬‬ ‫‪Y=1‬‬ ‫‪= 0.99‬‬
‫‪P‬‬ ‫‪X=1‬‬ ‫‪Y=0‬‬ ‫‪= 0.01‬‬
‫‪P‬‬ ‫‪X=0‬‬ ‫‪Y=0‬‬ ‫‪= 0.99‬‬
‫‪P‬‬ ‫‪X=0‬‬ ‫‪Y=1‬‬ ‫‪= 0.01‬‬
 ‫‪0.99‬‬
‫‪1‬‬
‫‪0.01‬‬
‫‪1‬‬
‫تابع االلتباس‬ ‫ترميز القناة‬
‫‪0.01‬‬
‫‪0‬‬ ‫‪0‬‬
‫‪0.99‬‬
‫الحل‪:‬‬
‫‪H Y X = − 0.99 log 0.99 + 0.01 log 0‬‬
‫𝑙𝑜𝑏𝑚𝑦𝑠‪= 0.081 𝑏𝑖𝑡/‬‬

‫أي إن مقدار االلتباس في المعلومات المستقبلة يساوي ‪ 0.081‬بت للرمز‪.‬‬

 ‫‪0.99‬‬
‫‪1‬‬
‫‪0.01‬‬
‫‪1‬‬
‫تابع االلتباس‬ ‫ترميز القناة‬
‫‪0.01‬‬
‫‪0‬‬ ‫‪0‬‬
‫‪0.99‬‬
‫ومن ثم تكون المعلومات المشتركة بين المعلومات المرسلة والمعلومات المستقبلة‪ ،‬أو‬
‫معدل إرسال المعلومات الفعلي‪:‬‬

‫𝑐𝑒𝑠‪I X, Y = 1000 − 81 = 919 𝑏𝑖𝑡/‬‬

‫وهي قيمة تختلف عن القيمة الحدسية ‪ 990‬بت في الثانية‪.‬‬

 ‫تابع االلتباس‬ ‫ترميز القناة‬

‫نتيجة‪:‬‬
‫يجب إرسال عدد من البتات اإلضافية على قناة لتصحيح الخطأ‬
‫يساوي قيمة تابع االلتباس 𝑿 𝒀 𝑯 من أجل التعويض عن‬
‫البتات الخاطئة‬
 ‫‪Channel Capacity‬‬ ‫سعة القناة‬ ‫ترميز القناة‬

‫تعريف سعة القناة‪:‬‬

‫لكي تستطيع القناة المضججة نقل معلومات المنبع‪ ،‬يجب أن تساوي سعتها 𝐶 معدل‬
‫اإلرسال األعظمي الممكن‪ ،‬ولذا ت ُ َّ‬
‫عرف سعة القناة بـ‪:‬‬

‫) ‪C = MAX R = Max(H X − H Y X‬‬

‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬
‫سعة القناة‬ ‫ترميز القناة‬
‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬
‫تعطى سعة القناة ‪ C‬في حالة القناة البسيطة‪:‬‬
‫• التي ال تُدخل تشويها في اإلشارة‪،‬‬
‫• وذات عرض المجال الترددي ‪،W‬‬
‫• والتي تُدخل فيها ضجيجا غوصيا جمعا‪ ،‬بالعالقة‪:‬‬
‫) 𝑅𝑁𝑆 ‪𝐶 = 𝑊 𝑙𝑜𝑔 (1 +‬‬
‫حيث 𝑅𝑁𝑆 هي النسبة الخطية (ال اللوغاريتمية) الستطاعة اإلشارة إلى استطاعة‬
‫الضجيج‪.‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫اشتقاق سعة القناة (نظرية شانون)‬

‫باستعمال رموز الشكل المبين في األعلى‪ ،‬لدينا‪:‬‬

‫) 𝑥 𝑦 𝐻 ‪𝐶 = 𝑀𝐴𝑋(𝑅) = 𝑀𝐴𝑋(𝐻 𝑥 −‬‬

 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫𝑛‪𝑦 =𝑥+‬‬ ‫من الشكل‪ ،‬لدينا‪:‬‬

‫)𝑛‪𝐻 𝑥,𝑦 = 𝐻(𝑥,‬‬ ‫لذا‪:‬‬

‫بنشر الطرفين األيسر واأليمن مع األخذ في الحسبان أن 𝑥 و 𝑛 مستقالن عن‬

‫بعضهما‪ ،‬نحصل على‪:‬‬
‫𝑛 𝐻‪𝐻 𝑦 +𝐻 𝑥 𝑦 =𝐻 𝑥 +‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬
‫ومنه يكون معدل اإلرسال‪:‬‬
‫𝑥 𝑦 𝐻‪𝑅 =𝐻 𝑥 −‬‬
‫)𝑛(𝐻 ‪= 𝐻 𝑦 −‬‬
‫لذا‪:‬‬
‫))𝑛(𝐻 ‪𝐶 = Max(𝐻 𝑦 −‬‬
‫ونظرا إلى أنه ليس لدينا سيطرة على الضجيج‪ ،‬يقتضي تعظيم 𝐶 تعظيم 𝑦 𝐻‪ ،‬أي‬
‫تعظيم إنتروبي اإلشارة المستقبلة‪.‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫فيما يخص التوزع الغوصي لمتغير عشوائي 𝑢 عموما‪ ،‬تعطى كثافة احتماله بالعالقة‪:‬‬
‫‪1‬‬ ‫‪− 𝑢2 Τ2𝜎 2‬‬
‫= 𝑢 𝑝‬ ‫𝑒‬
‫𝜎𝜋‪2‬‬
‫حيث 𝜎 االنحراف المعياري (التشتت) للمتغير العشوائي‪.‬‬
‫وفي حالة اإلشارات المستمرة‪ ،‬يعطى اإلنتروبي بالعالقة‪:‬‬
‫𝑢𝑑 𝑢 𝑝 ‪ 𝑝 𝑢 log‬׬ ‪𝐻 𝑢 = −‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫‪u2‬‬
‫)‪H u = න p u log 2πσ du + න p(u‬‬ ‫‪du‬‬
‫‪2σ2‬‬
‫‪𝜎2‬‬
‫‪= log 2𝜋𝜎 +‬‬ ‫𝑒 ‪= log 2𝜋𝜎 + log‬‬
‫‪2𝜎 2‬‬
‫‪1‬‬
‫= 𝑒 𝑒 ‪ ،log‬حيث 𝑒 هو العدد النيبري‪.‬‬ ‫ألن‪:‬‬
‫‪2‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫ومنه‪ :‬يكون إنتروبي المتغير العشوائي الغوصي‪:‬‬

‫‪1‬‬
‫‪𝐻 𝑢 = log 2𝜋𝑒𝜎 = log 2𝜋𝑒𝜎 2‬‬
‫‪2‬‬
‫‪2‬‬
‫حيث 𝜎 هي استطاعة الضجيج الوسطى‪.‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫من ناحية أخرى‪ ،‬يتحقق اإلنتروبي األعظمي لإلشارة المستقبلة إذا كان تابع كثافة‬
‫احتمال 𝑦 غوصيا‪ .‬وحينئذ تكون اإلشارة المستقبلة هي مجموع متغيرين غوصيين‪.‬‬
‫فإذا كانت االستطاعة الوسطية للضجيج هي 𝑁‪ ،‬وكانت االستطاعة الوسطية لإلشارة‬
‫المرسلة هي 𝑃‪ ،‬كانت االستطاعة الوسطى لإلشارة المستقبلة 𝑁 ‪ .𝑃 +‬وعندئذ‬
‫يعطى إنتروبي ‪ y‬بـ‪:‬‬
‫‪1‬‬
‫)𝑁 ‪𝐻 𝑦 = log 2𝜋𝑒𝜎 = log 2𝜋𝑒(𝑃 +‬‬
‫‪2‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫من ناحية أخرى‪ ،‬وبناء على نظرية شانون‪-‬هارتلي‪ ،‬معدل النبضات األعظمي‬
‫(الرموز في حالتنا) التي يمكن إرسالها على القناة يجب أن يحقق العالقة‪:‬‬
‫‪fs ≤ 2W‬‬
‫)يجب عدم خلط هذه العالقة مع عالقة تردد التقطيع في نظرية نايكويست)‪.‬‬
‫ويتحقق اإلنتروبي األعظمي في الثانية لإلشارة المستقبلة عندما 𝑊‪ .𝑓𝑠 = 2‬لذا‪:‬‬

‫𝑦 𝐻 𝑊‪𝐻𝑚𝑎𝑥 𝑦 = 2‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫𝑦 𝐻 𝑊‪𝐻𝑚𝑎𝑥 𝑦 = 2‬‬
‫‪1‬‬
‫)𝑁 ‪= 2𝑊 log 2𝜋𝑒(𝑃 +‬‬
‫‪2‬‬
‫)𝑁 ‪= 𝑊 log 2𝜋𝑒(𝑃 +‬‬
‫ويكون إنتروبي الضجيج أيضا‪:‬‬
‫)𝑁(𝑒𝜋‪𝐻 𝑛 = 𝑊 log 2‬‬
 ‫سعة القناة‬ ‫ترميز القناة‬
‫)𝑇𝑖 ‪𝑥 𝑡 = ෍ 𝑠𝑖 𝛿(𝑡 −‬‬ ‫‪+‬‬
‫)𝑡(𝑛 ‪𝑦 𝑡 = 𝑥 𝑡 +‬‬
‫𝑖‬
‫𝑡 𝑛 نموذج مبسط للقناة‬

‫))𝑛(𝐻 ‪𝐶 = 𝑀𝑎𝑥(𝐻 𝑦 −‬‬

‫)𝑁(𝑒𝜋‪= 𝑊 log 2𝜋𝑒 𝑃 + 𝑁 − 𝑊 log 2‬‬
‫𝑁‪𝑃+‬‬
‫‪= 𝑊 log‬‬
‫𝑁‬
‫)𝑅𝑁𝑆 ‪= 𝑊 log(1 +‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫سبق أن رأينا أن قيمة تابع االلتباس ‪ H X Y‬تعبر عن المعلومات المستقبلة التي‬
‫فيها خطأ‪ .‬لذا يجب إرسال معلومات إضافية لتصحيح األخطاء قيمتها تساوي‬
‫𝑌 𝑋 𝐻 من أجل التعويض عن البتات الخاطئة‪.‬‬

‫إذا كانت سعة قناة التصحيح أكبر من 𝒀 𝑿 𝑯 أو مساوية له‪ ،‬أمكن أن‬
‫نر ّمز بيانات التصحيح بطريقة تمكن من تصحيح الغالبية العظمى من‬
‫األخطاء عدا جزء صغير ما 𝝐 منها‪.‬‬
‫وهذا غير ممكن إذا كانت سعة قناة التصحيح أصغر من 𝒀 𝑿 𝑯‪.‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫يمكن أن نرى ذلك مما يلي‪ .‬من تعريف اإلنتروبي لدينا‪:‬‬

‫𝑋 𝑍 𝐻 ‪𝐻 𝑋, 𝑍 = 𝐻 𝑋 +‬‬

‫لذا‪ ،‬من أجل أي متغيرات عشوائية ‪ X,Y,Z‬لدينا‪:‬‬

‫𝑌 𝑋 𝐻 ≥ 𝑌 𝑍 ‪𝐻 𝑋,‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫ويمكن نشر الجانب األيسر على النحو التالي‪:‬‬

‫𝑌 𝑋 𝐻 ≥ 𝑍 ‪𝐻 𝑍 𝑌 + 𝐻 𝑋 𝑌,‬‬

‫𝑌 𝑍 𝐻 ‪𝐻 𝑋 𝑌, 𝑍 ≥ 𝐻 𝑋 𝑌 −‬‬
‫)𝑍(𝐻 ‪≥ 𝐻 𝑋 𝑌 −‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫إذا اعتبرنا 𝑋 اإلشارة المرسلة‪ ،‬و 𝑌 اإلشارة المستقبلة‪ ،‬و 𝑍 المعلومات المرسلة‬
‫على قناة التصحيح‪ ،‬كان الطرف األيمن هو االلتباس مطروحا منه معدل اإلرسال‬
‫على قناة التصحيح‪ .‬إذا كانت سعة قناة التصحيح (إنتروبي 𝑍) أصغر من قيمة‬
‫االلتباس‪ ،‬كان الطرف األيمن أكبر من الصفر‪ .‬لكن هذه القيمة هي االرتياب فيما تم‬
‫إرساله ( 𝑍‪ )𝐻 𝑋 𝑌,‬بعد معرفة اإلشارة المرسلة ومعلومات التصحيح‪ .‬وإذا كان‬
‫هذا االرتياب أكبر من الصفر فإن معدل األخطاء التي يمكن تصحيحها ال يمكن أن‬
‫يكون أصغر ما يمكن‪ ،‬أي 𝝐‪.‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬

‫النتيجة‬
‫يجب أن تكون سعة قناة التصحيح أكبر من قيمة االلتباس أو مساوية له‪:‬‬
‫𝒀 𝑿 𝑯 ≥ 𝒓𝒐𝒄𝑪‬
 ‫المراجع‬
A Mathematical Theory of Communication, By C. E. SHANNON, The Bell System
Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October, 1948.

The Theory of Information and Coding, Robert J. McEliece, Addison-Wesley Publishing

Company, 1977.

BASIC CONCEPTS IN INFORMATION THEORY, Marc URO

EE 376A: Information theory Winter 2017 Lecture 1 — January 10, Lecturer: David Tse .
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬

‫سبق أن رأينا أن قيمة تابع االلتباس 𝒀 𝑿 𝑯 تعبر عن‬

‫المعلومات المستقبلة التي فيها خطأ‪ .‬لذا يجب إرسال معلومات‬
‫إضافية لتصحيح األخطاء قيمتها تساوي 𝒀 𝑿 𝑯 من أجل‬
‫التعويض عن البتات الخاطئة‪.‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬

‫نظرية ترميز القناة (نظرية شانون)‪:‬‬

‫من أجل أي قناة عديمة الذاكرة وملوثة بضجيج مهما كانت درجته‪ ،‬من‬
‫الممكن نقل بيانات رقمية عليها خالية من األخطاء تقريبا بمعدل أعظمي‬
‫يمكن حسابه‪.‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫نظرية ترميز القناة (نظرية شانون)‪:‬‬

‫من أجل أي قناة عديمة الذاكرة وملوثة بضجيج وسعتها تساوي ‪ C‬وتنقل‬
‫البيانات بمعدل ‪ ،R <C‬توجد أرمزة تجعل احتمال الخطأ في البيانات‬
‫المستقبلة صغيرا بقدر ما نريد‪ .‬هذا يعني أنه يمكننا نقل بيانات خالية من‬
‫األخطاء تقريبا بأي معدل ‪ R‬أصغر من سعة القناة ‪.C‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫قناة نقل البيانات األصلية‬ ‫مقترح شانون لتصحيح األخطاء‪:‬‬
‫بيانات أصلية‬ ‫𝑪‬ ‫استعمال قناة إضافية لنقل بيانات‬
‫تصحيح الخطأ‬
‫قناة نقل بيانات تصحيح الخطأ‬
‫بيانات تصحيح الخطأ‬ ‫𝒓𝒐𝒄𝑪‬

‫𝒀 𝑿 𝑯 ≥ 𝒓𝒐𝒄𝑪‬
‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫مقترح شانون صعب التطبيق عمليا‪:‬‬

‫• صعوبة في العثور على األرمزة‪.‬‬

‫• صعوبة في تحليلها‪.‬‬
‫• صعوبة في تنفيذها‪.‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫ال مغزى من استعمال قناة إضافية عمليا‪ ،‬إذ يمكن استعمال قناة االتصال‬
‫نفسها لنقل البيانات األساسية وبيانات التصحيح‪.‬‬

‫الطريقة المعتمدة عمليا لتصحيح األخطاء‪ :‬قناة واحدة سعتها‪:‬‬

‫𝑟𝑜𝐶𝑅 ‪𝐶 = 𝑅𝑑 +‬‬

‫𝑑𝑅‪ :‬معدل البيانات األصلية‪،‬‬

‫𝑟𝑜𝐶𝑅‪ :‬معدل بيانات التصحيح‪.‬‬
 ‫تصحيح األخطاء‬ ‫ترميز القناة‬
‫توضع البيانات األصلية وبيانات التصحيح ضمن ل ِبنة واحدة‪:‬‬

‫بيانات رسالة بمعدل 𝑑𝑅‬ ‫بيانات تصحيح بمعدل 𝑟𝑜𝐶𝑅‬

 ‫كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫مثال‪ :‬بت التدقيق ‪parity bit‬‬
‫بت تدقيق فردية‬ ‫بت تدقيق زوجية‬ ‫عدد الواحدات‬ ‫كلمة بيانات سباعية‬

‫‪00000001‬‬ ‫‪00000000‬‬ ‫‪0‬‬ ‫‪0000000‬‬

‫‪10100010‬‬ ‫‪10100011‬‬ ‫‪3‬‬ ‫‪1010001‬‬
‫‪11010011‬‬ ‫‪11010010‬‬ ‫‪4‬‬ ‫‪1101001‬‬
‫‪11111110‬‬ ‫‪11111111‬‬ ‫‪7‬‬ ‫‪1111111‬‬
‫بت التدقيق الزوجية تجعل عدد الواحدات الكلي زوجيا‪pb=b1+b2+b3+b4+b5+b6+b7 :‬‬
‫بت التدقيق الفردية تجعل عدد الواحدات الكلي فرديا‪pb=b1+b2+b3+b4+b5+b6+b7+1 :‬‬
 ‫كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫مثال‪ :‬بت التدقيق ‪parity bit‬‬
‫ال تصحح الخطأ!‬
‫تكشف األخطاء التي عددها فردي‪،‬‬
‫ومن ضمنها خطؤها نفسها‬

‫التصحيح‪:‬‬
‫عندما يكتشف المستقبل وجود الخطأ‪ ،‬يطلب من المرسل‬
‫إعادة اإلرسال‪.‬‬
 ‫كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫خصائص أرمزة كشف وتصحيح األخطاء‪:‬‬
‫يوضح المثال السابق الخصائص األساسية ألرمزة كشف وتصحيح‬
‫األخطاء‪:‬‬
‫• نقل معلومات إضافية لتصحيح الخطأ‪ ،‬انسجاما مع مقترح شانون‪.‬‬
‫معدل نقل البيانات األصلية أقل من معدل النقل الفعلي على القناة‪.‬‬
‫• مقدرة الرماز على كشف الخطأ وتصحيحه ليست مطلقة‪.‬‬
‫• ليس كل رماز كشف لألخطاء قادرا على تصحيحها جزئيا أو كليا‪.‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬

‫تقسم سلسلة البيانات المراد ترميزها إلى ل ِبنات متتالية تسمى لبنات‬
‫الرسالة‪ ،‬ويتألف كل منها من ‪ k‬بت‪ .‬ثم تُر َّمز كل لبنة على انفراد بتحويلها‬
‫إلى لبنة أخرى تسمى كلمة الرماز أو لبنة الرماز وتتكون من ‪ n‬بت‪ ،‬حيث‬
‫‪. n>k‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫مثال‪:‬‬

‫كلمة رسالة ‪𝑚0 ,𝑚1,⋯,𝑚𝑘−1‬‬ ‫بيانات تصحيح 𝑚𝑎 ⋯ ‪𝑎0 ,𝑎1 ,‬‬

‫‪k bit‬‬ ‫‪m bit‬‬

‫كلمة رماز مؤلفة من ‪𝑛 = 𝑘 + 𝑚 bit‬‬
‫𝑘‬ ‫𝑛‬ ‫𝑘‪ :2‬كلمة رسالة‬
‫‪2 ≪2‬‬ ‫𝑛‬
‫‪ :2‬كلمة رماز ممكنة‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫تعريف‬

‫𝒌‬
‫=𝑹‬ ‫معدل الرماز‪:‬‬
‫𝒏‬

‫مسافة هامينغ 𝒅‪ :‬تعطى مسافة هامينغ بين أي كلمتي رماز بعدد‬

‫المواقع المختلفة فيما بينهما‪.‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫كلمة‬ ‫كلمة الرماز‬
‫الرسالة‬ ‫رماز األغلبية ‪majority code‬‬
‫‪0‬‬ ‫‪000‬‬ ‫مثال‪ :‬من أجل ‪ 𝑛 = 3‬و ‪:𝑘 = 1‬‬
‫‪1‬‬ ‫‪111‬‬ ‫لنفترض أن كلمة الرسالة هي ‪.1‬‬
‫فنرسل ‪ .111‬فإذا حصل خطآن في‬
‫في المستقبل‪ ،‬ننظر إلى ثالثة البتات‬
‫الكلمة المستقبلة‪ ،‬أي استقبلنا الكلمة‬
‫سلة‪ ،‬وقيمة البت‬‫الموافقة للبت المر َ‬
‫‪ 001‬أو ‪ 100‬أو ‪ ،010‬اخترنا‬
‫األكثر تكرارا هي قيمة البت المكشوفة‪.‬‬
‫أقرب كلمة رماز إليها‪ ،‬وهي ‪000‬‬
‫إذا كان هناك خطأ واحد حصل‬
‫التي تقابل كلمة الرسالة ‪ ،0‬وحينئذ‬
‫التصحيح‪ ،‬وإال كان كشف البت خطأ‪.‬‬
‫تكون نتيجة التصحيح خاطئة‪.‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫رماز األغلبية‬
‫كلمة‬ ‫كلمة الرماز‬
‫عدد األخطاء القابلة للتصحيح ‪.1‬‬
‫الرسالة‬
‫‪0‬‬ ‫‪000‬‬ ‫المسافة بين كلمتي رماز‪.𝑑 = 3 :‬‬
‫‪1‬‬
‫‪1‬‬ ‫‪111‬‬ ‫معدل الرماز‪𝑅 = :‬‬
‫‪3‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫مثال اعتباطي‪ :‬من أجل ‪ 𝑛 = 4‬و ‪:𝑘 = 2‬‬
‫كلمة الرسالة‬ ‫كلمة الرماز‬
‫استعملنا ‪ 4‬كلمات رماز فقط‬
‫‪00‬‬ ‫‪0000‬‬
‫من أصل ‪ 16‬كلمة ممكنة‪.‬‬
‫‪01‬‬ ‫‪1101‬‬
‫‪10‬‬ ‫‪0011‬‬
‫‪11‬‬ ‫‪1111‬‬ ‫المسافة الدنيا = ‪1‬‬
‫ال يمكن تصحيح كل األخطاء‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬

‫من األمثلة السابقة يتضح أن اختيار نوع الرماز ليس اعتباطيا‪.‬‬

‫في رماز األغلبية معدل الرماز منخفض‪ ،‬أي إن الهدر في استغالل سعة‬
‫القناة كبير‪.‬‬
‫وفي المثال األخير‪ ،‬تصحيح األخطاء ليس ممكنا إطالقا على نحو موثوق‪.‬‬

‫لذا‪ ،‬ال بد من اتباع منهجية متناسقة في اختيار الرماز‪.‬‬

‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫الرماز اللَّ ِبني الخطي ‪linear block code‬‬

‫كلمة رسالة ‪𝑚0 ,𝑚1,⋯,𝑚𝑘−1‬‬ ‫بيانات تصحيح ‪𝑎0 ,𝑎1 , ⋯ 𝑎𝑛−𝑘−1‬‬

‫‪k bit‬‬ ‫‪n-k bit‬‬

‫كلمة رماز مؤلفة من ‪n bit‬‬
‫𝑘‬ ‫𝑛‬ ‫𝑘‪ :2‬كلمة رسالة‬
‫‪2 ≪2‬‬ ‫𝑛‬
‫‪ :2‬كلمة رماز ممكنة‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫الرماز اللَّ ِبني الخطي‬
‫تُجرى عملية الترميز اللبني الخطي‪ ،‬أي حساب كلمة الرماز 𝑈‪ ،‬بضرب‬
‫الشعاع الممثِل للبنة الرسالة 𝑚 بالمصفوفة المولدة للرماز 𝐺‪:‬‬
‫𝐺𝑚=𝑈‬
‫‪𝑚 = 𝑚0 ,𝑚1 , ⋯ ,𝑚𝑘−1‬‬ ‫‪𝑈 = 𝑢0 ,𝑢1 , ⋯ ,𝑢𝑛−1‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫المصفوفة المولدة ‪:Generator Matrix‬‬

‫𝑃 𝑘𝐼 = 𝐺‬

‫𝑘𝐼 هي مصفوفة واحدية بعداها 𝑘 × 𝑘 ‪ ،‬و 𝑃 هي أي مصفوفة بعداها )𝑘 ‪𝑘 × (𝑛 −‬‬

‫وعناصرها تحدد العالقة بين بتات كلمة الرماز وكلمة الرسالة‪.‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫الرماز اللَّ ِبني الخطي‬

‫تُختار المصفوفة 𝑃‪ ،‬ومن ثم المصفوفة المولدة 𝐺 بحيث يكون الرماز المولد بحسب‬
‫العالقة رمازا خطيا‪ .‬أي إن أسطر 𝐺 يجب أن تكون مستقلة خطيا بعضا عن بعض‪.‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫مثال‪:‬‬

‫من أجل ‪ 𝑘 = 3‬و ‪ ،𝑛 = 6‬لتكن المصفوفة المولدة كالتالي‪:‬‬

‫‪1 0 0 1 1 0‬‬
‫‪𝐺= 0 1 0 0 1 1‬‬
‫‪0 0 1 1 0 1‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬

‫‪1 0 0 1 1 0‬‬
‫‪𝑈 = 𝑚𝐺 = 𝑚0 𝑚1 𝑚2‬‬ ‫‪0 1 0 0 1 1‬‬
‫‪0 0 1 1 0 1‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫فتكون كلمات الرماز تراكيب خطية من بتات الرسالة‪:‬‬

‫𝐺𝑚=𝑈‬
‫‪𝑢 0 = 𝑚0‬‬ ‫‪𝑢1 = 𝑚1‬‬ ‫‪𝑢 2 = 𝑚2‬‬
‫‪𝑢4 = 𝑚0 + 𝑚2‬‬
‫‪𝑢5 = 𝑚0 + 𝑚1‬‬
‫‪𝑢6 = 𝑚1 + 𝑚2‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫النتيجة‬
‫‪1‬‬
‫=𝑅‬ ‫معدل الرماز‪:‬‬
‫‪2‬‬
‫مسافة هامينغ الدنيا‪𝑑𝑚𝑖𝑛 = 3 :‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫مثال‪:‬‬

‫كلمة الرسالة‪1 1 0 :‬‬

‫كلمة الرماز‪1 1 0 1 0 1 :‬‬
‫كلمة مستقبلة‪1 1 0 1 0 0 :‬‬
‫أقرب كلمة‪ 1 1 0 1 0 1 :‬هي الكلمة المرسلة‪ ،‬ويحصل التصحيح‪.‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫مثال‪:‬‬

‫كلمة الرسالة‪1 1 0 :‬‬

‫كلمة الرماز‪1 1 0 1 0 1 :‬‬
‫كلمة مستقبلة‪ 1 1 0 1 1 0 :‬خطآن‬
‫أقرب كلمة‪ 1 0 0 1 1 0 :‬الكشف‪ ،‬ومن ثم التصحيح‪ ،‬خطأ‪.‬‬
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫قدرة الرماز اللَّ ِبني الخطي على كشف األخطاء‬

‫يمكن البرهان على أن الرماز الخطي يستطيع تصحيح 𝑡 خطأ‪:‬‬

‫‪𝑑𝑚𝑖𝑛 − 1‬‬
‫≤𝑡‬
‫‪2‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫أنواع األرمزة اللَّ ِبنية الخطية‬

Reed–Solomon codes, Hamming codes, Hadamard codes,

Expander codes, Golay codes, and Reed–Muller codes
‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫الرماز اللَّ ِبني الدوري‬
‫تنتُج كلمات هذا الرماز من اإلزاحة الدورانية للكلمات‬
‫األخرى‪.‬‬

‫‪𝑈 = 𝑢0 ,𝑢1 , ⋯ ,𝑢𝑛−1‬‬ ‫إذا كانت الكلمة ‪:‬‬

‫كلمة رماز‪ ،‬كانت الكلمة‪𝑈 = 𝑢𝑛−1 ,𝑢0 , ⋯ ,𝑢𝑛−2 :‬‬
‫كلمة رماز أيضا‪.‬‬
‫والكلمة الصفرية ‪ ،𝑈 = 0, 0, ⋯ , 0 :‬هي كلمة رماز أيضا‪.‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬

‫الرماز اللَّ ِبني الدوري‬

‫يجري تكوين كلمات الرماز بضرب كثير حدود يمثل بتات الرسالة بكثير‬
‫حدود آخر يسمى كثير الحدود المولد‪ ،‬وذلك في حقل غالوا‪.‬‬

‫أسهل طرائق حساب الرماز الدوري هي استعمال سجالت اإلزاحة‪.‬‬

‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫كلمة الرسالة‬ ‫كلمة الرماز‬
‫‪000‬‬ ‫‪0000000‬‬ ‫الرماز اللَّ ِبني الدوري‬
‫‪100‬‬ ‫‪1011100‬‬ ‫مثال‪ 𝑘 = 3:‬و ‪𝑛 = 7‬‬
‫‪010‬‬ ‫‪0101110‬‬
‫‪110‬‬ ‫‪1110010‬‬
‫‪001‬‬ ‫‪0010111‬‬
‫‪101‬‬ ‫‪1001011‬‬
‫‪011‬‬ ‫‪0111001‬‬
‫‪111‬‬ ‫‪1100101‬‬
 ‫أرمزة كشف وتصحيح األخطاء‬ ‫ترميز القناة‬
‫قدرة الرماز اللَّ ِبني الدوري على كشف األخطاء‬

‫يمكن البرهان على أن الرماز اللَّ ِبني الدوري يستطيع تصحيح 𝑡 خطأ‪:‬‬

‫‪𝑑𝑚𝑖𝑛 − 1‬‬
‫≤𝑡‬
‫‪2‬‬
 ‫المراجع‬
A Mathematical Theory of Communication, By C. E. SHANNON, The Bell System
Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October, 1948.

The Theory of Information and Coding, Robert J. McEliece, Addison-Wesley Publishing

Company, 1977.

BASIC CONCEPTS IN INFORMATION THEORY, Marc URO

EE 376A: Information theory Winter 2017 Lecture 1 — January 10, Lecturer: David Tse .
 ‫العمليات التي تطبق على المعلومات‪:‬‬ ‫‪.1‬‬
‫‪ ‬عمليات من أجل نقلها‪ ،‬وهذه تتضمن تأهيلها للنقل بوجود الضجيج والتشويش والتشويه‪،‬‬
‫وحمايتها من الخطأ من أجل استعادتها على نحو صحيح‪ ،‬وحمايتها من السرقة والعبث بها‪.‬‬
‫‪ ‬عمليات من أجل حفظها‪.‬‬
‫‪ ‬عمليات من أجل استعمالها‪.‬‬
‫‪ ‬عمليات من أجل تفسيرها‪ ،‬ومن أمثلة ذلك معالجة اللغات الطبيعية‪.‬‬
‫مرمز المنبع‪:‬‬
‫ّ‬ ‫‪.2‬‬
‫يرمز معلومات المنبع بطريقة أكثر إيجا از وذلك بحذف التكرار (الفائض ‪)redundancy‬‬
‫ّ‬
‫رسل‪.‬‬
‫منها‪ .‬والغرض من ذلك تخفيض معدل البيانات ‪ Data Rate‬التي سوف ت َ‬
‫مرمز القناة‪:‬‬
‫ّ‬ ‫‪.3‬‬
‫مرمز القناة حشوا (‪ )redundancy‬إلى البيانات من أجل حماية البيانات المرسلة‬
‫يضيف ّ‬
‫من أخطاء النقل‪.‬‬
‫مرمز المنبع يقلص البيانات‪ ،‬مرمز القناة يزيد البيانات‪.‬‬ ‫‪.4‬‬
‫ال ينطوي الحدث على معلومات إذا كان أكيدا‪.‬‬ ‫‪.5‬‬
‫إذا كان الحدث أكيدا‪ ،‬كان احتماله مساويا للواحد‪.‬‬ ‫‪.6‬‬
‫ينطوي الحدث على معلومات إذا كان احتمال حدوثه أصغر من الواحد‪.‬‬ ‫‪.7‬‬
‫إذا كان الحدثان 𝑥 و ‪ y‬مستقالن عن بعضهما‪ ،‬ساوت المعلومات الذاتية المقترنة بحدوثهما‬ ‫‪.8‬‬
‫معا مجموع المعلومات التي ينطوي عليها كل منهما على حدة‪:‬‬
‫)𝑦(𝐼 ‪.𝐼 (𝑥, 𝑦) = 𝐼 (𝑥) +‬‬
‫حين رمي حجر نرد متزن‪ ،‬يساوي احتمال الوقوع على الرقم خمسة ‪ .1⁄6‬ويساوي الغموض‬ ‫‪.9‬‬
‫أو المعلومة الذاتية أو المفاجأة في هذا الحدث‪:‬‬
‫‪1‬‬
‫𝑡𝑖𝑏 ‪ℎ(𝑥 ) = −log 2 = 2.585‬‬
‫‪6‬‬
‫‪ .10‬ما هو مقدار المعلومات الذاتية التي يحملها ‪ M‬رم از مستقال بعضا عن بعض؟‬
‫‪ .11‬ما مقدار المفاجأة في العبارة‪1=1 :‬؟‬
‫‪ .12‬ما مقدار المفاجأة في العبارة‪2=1 :‬؟ (نأخذ المتمم)‪.‬‬
‫‪ .13‬ما مقدار المفاجأة في العبارة‪ x=y :‬إذا علمنا أن المساواة تتحقق باحتمال يساوي ‪%30‬؟‬
 ‫‪ .14‬ما نوع الغموض الذي ينطوي عليه السؤال التالي؟‬
‫‪ .15‬ما مقدار الغموض في سحب بنت الكبة إذا علمنا أن الورقة المسحوبة هي ورقة كبة؟‬
‫‪ .16‬احسب عدد البتات التي يمكن لقالبين أن يخزناها عندما تكون جميع وضعياتهما متساوية‬
‫االحتمال‪.‬‬
‫‪ .17‬احسب االرتياب في وضعية حجر نرد متوازن‪ ،‬أي إنه يتخذ جميع وضعياته بنفس االحتمال‪.‬‬
‫‪ .18‬احسب إنتروبي ورقة شدة تسحب عشوائيا‪ ،‬وانتروبي ورقتين تسحبان عشوائيا‪.‬‬
‫‪ .19‬إذا أرسلت رسالة إلى صديق لك مكونة من حرفين فقط من الحروف الالتينية التي يبلغ‬
‫عددها ‪ 26‬حرفا‪ ،‬فما هي كمية المعلومات المختلفة التي يحملها ذينك الحرفان؟‬
‫‪ .20‬اإلنتروبي‪ :‬هو القيمة الوسطى للغموضات أو االرتيابات في قيم المتغير العشوائي‪.‬‬
‫‪ .21‬تحصل القيمة العظمى لالنتروبي عندما يكون توزع كثافة احتمال المتغير متجانسا‪.‬‬
‫‪ .22‬تحصل القيمة العظمى للمعلومات الذاتية الكامنة في رمي النقدة عندما تكون النقدة متزنة‪.‬‬
‫‪ .23‬القالب غير المتزن ال يخزن بتا كاملة من المعلومات‪.‬‬
‫‪ .24‬عموما‪ ،‬يعبِّر اإلنتروبي عن‪:‬‬
‫‪ ‬كمية المعلومات الالزمة للتعبير عن حالة المنظومة العشوائية‪.‬‬
‫‪ ‬كمية المعلومات التي يمكن للمنظومة العشوائية أن تحملها‪.‬‬
‫‪ ‬مقدار عدم االنتظام في المنظومة العشوائية‪.‬‬
‫‪ ‬االرتياب في حالة المنظومة العشوائية‪.‬‬
‫‪ ‬مقدار تدهور انتظام المنظومة العشوائية‪.‬‬
‫‪ .25‬اإلنتروبي المشروط للمتغيرين 𝑋 و 𝑌 يعطى بالعالقة‪:‬‬
‫)𝑋(𝐻 ‪𝐻(𝑌|𝑋) = 𝐻(𝑋, 𝑌) −‬‬

‫أو العالقة‬

‫)𝑌(𝐻 ‪𝐻 (𝑌|𝑋) = 𝐻 (𝑋|𝑌) − 𝐻 (𝑋) +‬‬

‫‪ .26‬إذا كان المتغيران العشوائيان ‪ X, Y‬مستقلين‪:‬‬

‫)‪H(X|Y) = H(X‬‬
‫)‪H(Y|X) = H(Y‬‬
‫‪I(X, Y) = 0‬‬
‫)‪H(X, Y) = H(X) + H(Y‬‬
 ‫‪ .27‬ما مقدار إنتروبي حجر نرد متزن؟‬
‫‪ .28‬ما مقدار إنتروبي حجري نرد متزنين؟‬
‫‪ .29‬ما مقدار المعلومات المشتركة بين رميتي حجر نرد متزن؟‬
‫‪ .30‬سحبنا من مجموعة أوراق الكبة من الشدة ورقة فكانت ‪ .4‬ما قيمة إنتروبي بقية أوراق الكبة؟‬
‫‪ .31‬ما هو العدد األصغري للحروف الالزم لتكوين أبجدية رماز ما؟‬
‫‪ .32‬لماذا تنخفض القيمة الوسطية الفعلية إلنتروبي اللغة العربية إلى نحو ‪ 2.3‬بت للحرف؟‬
‫‪ .33‬يعطي منبع الرموز العديم الذاكرة في خرجه رمو از عديمة الترابط فيما بينها‪.‬‬
‫‪ .34‬يعطي هذا المنبع سالسل رموز عشوائية من الشكل‪:‬‬
‫‪.AAAAABBAAAAABAAAAAAAAB‬‬
‫صح أم خطأ؟‬
‫‪0.5‬‬

‫‪A‬‬ ‫‪B‬‬

‫‪0.5‬‬

‫‪ .35‬بافتراض أن اإلنتروبي الفعلي للغة األلمانية يساوي ‪ 3.4‬بت للحرف الواحد‪ ،‬وأن عدد أحرف‬
‫اللغة األلمانية يساوي ‪ 30‬حرفا‪ .‬ما مقدار الفائض في هذه اللغة؟‬
‫‪ .36‬هل تصلح اللغة التي ينعدم فيها الفائض للتواصل؟‬
‫‪ .37‬أيهما أفضل للتراسل‪ ،‬استعمال رماز ينطوي على فائض‪ ،‬أم رماز ال فائض فيه‪:‬‬
‫ب‪ -‬في حالة وجود الضجيج‬ ‫أ‪ -‬في حالة انعدام الضجيج‬
‫‪ .38‬ما مقدار معدل اإلنتروبي لمنبع يعطي رمو از مستقلة عن بعضها ويساوي عددها أربعة رموز‬
‫بمعدل ‪ 2500‬رمز في الثانية؟‬
‫‪ .39‬ما هي الخوارزمية الفضلى لتكوين رماز يضغط البيانات غير المتجانسة االحتماالت إلى‬
‫أقصى حد ممكن؟‬
‫‪ .40‬إذا كانت رموز البيانات مستقلة عن بعضها‪ ،‬ما هي أفضل خوارزمية لضغط تلك البيانات؟‬
‫‪ .41‬ما هو الشرط الذي يضمن فك الرماز المضغوط على نحو فريد؟‬
‫‪ .42‬الرماز ذو البادئة هو الرماز الذي تكون فيه كل كلمة رمز جزءا من كلمات الرمز األخرى‪.‬‬
‫صح أم خطأ؟‬
‫𝟏‪ ∑𝒓−‬أمكن تكوين رماز ذي بادئة‬
‫𝒔 𝟎=𝒊‬
‫𝒊𝒏‪−‬‬
‫‪ .43‬إذا حققت أبجدية رموز ما متراجحة كرافت 𝟏 ≤‬
‫من تلك األبجدية‪ .‬صح أم خطأ؟‬
‫‪ .44‬هل يؤدي رماز هفمان إلى فقد في البيانات؟‬
‫‪ .45‬هل تسبب خوارزمية ‪ JPEG‬ضياعا في جزء من البيانات المضغوطة؟‬
‫‪ .46‬الغاية من ترميز المنبع هي ضغط البيانات إلى أقصى حد ممكن وذلك بتخليصها من‬
‫الفائض بغية تقليص مدة إرسالها على خطوط االتصال‪ ،‬وتقليص الحيز الالزم لخزنها‪ .‬صح‬
‫أم خطأ؟‬
‫‪ .47‬ينطوي ترميز القناة على حشر بيانات إضافية في البيانات بغية المساعدة على تخليصها‬
‫من األخطاء في حالة نقلها أو خزنها في ظروف من التشويش والتشويه والضجيج‪ .‬صح أم‬
‫خطأ‪.‬‬
‫‪ .48‬تدخل قناة االتصال في إشارة البيانات الرقمية المنقولة عليها ضجيجا يضاف إليها‪ ،‬وتشويها‬
‫في بنيتها‪ .‬صح أم خطأ؟‬
‫‪ .49‬الضجيج إشارة عشوائية من مصدر تشويش تضيفها قناة االتصال أو وسط التخزين إلى‬
‫إشارة البيانات‪.‬‬
‫‪ .50‬معالجة الضجيج الرشقي أبسط من معالجة ضجيج التكميم‪ .‬صح أم خطأ؟‬
‫المرسلة‪ .‬أي إنه‬
‫َ‬ ‫‪ .51‬تابع االلتباس هو إنتروبي المعلومات المستقبلة حين معرفة المعلومات‬
‫مقدار الغموض أو االرتياب في المعلومات المستقبلة حين إرسال معلومات معينة‪ .‬ولذا يعبِّر‬
‫عن مقدار المعلومات الملتبسة في المستقبل‪ ،‬أي تلك الخاطئة‪.‬‬
‫‪ .52‬معدل اإلرسال هو مقدار البيانات التي يجري نقلها على قناة االتصال بشكل سليم‪ .‬صح أم‬
‫خطأ؟‬
‫‪ .53‬معدل اإلرسال= إنتروبي المرسل – تابع االلتباس في المستقبل‪ .‬صح أم خطأ؟‬
‫‪ .54‬للتعويض عن أخطاء النقل يجب إرسال بيانات لتصحيح األخطاء على قناة اتصال إضافية‬
‫تساوي سعتها تابع االلتباس‪ ،‬أي اإلنتروبي الشرطي للمعلومات المستقبلة حين إرسال‬
‫معلومات معروفة ما‪ .‬صح أ خطأ؟‬
‫‪.55‬‬