Théorie de l’Information Résolution du Devoir# 1 SIC-SICOM Maria-Jofio Rendas 1. Soit X une variable aléatoire diseréte. Montrer que l'entropie d'une fonction de X est inférieure ou égale & Pentropie de Xen justifiant les pas suivants: H(X,9(X)) HEX) + H(G(X)X) H(X) H(g(X)) + H(X|g(X)) H(X,9(%)) = H((X)) Etdone H(g(X)) < H(X) résolution ) est une instance de la régle de la chaine pour lentropie conjoint: H(X,Y)=H(X) + HX) = H(Y) + H(XIY), avec ¥ = g(X). # (6) découle du fait que H(g(X)|X) = 0. Par definition 018) = Bx G(X) =a] = Ex [Foes (tol ‘Mais, comme ¥’ est une fonetion déterministe de X, - 1, yeaa) ism o={ 6 Hasta eon 1 708 a a H(g(X)IX) = Ex [Eyeoia 0] = 0. plulX Wy Ea(e) etdone © (c) gle de la chatine (comme en (a) 1«# (d) est une conséquence immédiate de la non-négativité de l'entropie con- ditionnelle: H(X|Y) > 0, avec Y = g(X). 2. résolution ‘Nous venons de voir (dans le probléme précédant) qu’en général H(g(X)) 0, et par conséquence ) B) « le plat de gauche est plus léger que celui de droite (A < B). 5I In il MA i | Figure 4: Arbre temaire. Le nombre de situations possibles qui peuvent @tre discriminées avec i pesages est done 3*, illustrées par les feuilles de l’arbre temaire de la Figure 4, pour k = 4. Pour pouvoir détecter dans lequel, parmis les 2n + 1 états possibles, est ensemble de n pies, nous devons done avoir 3*>M+1len<(3*=1)/2. 5. Une pidce est laneée jusqu’a occurence d'une face. Soit X le nombre de lance- ments (a) Déterminez entropie H(X) en bits. L'expression suivante peut ére utile : Déterminez. une séquence de questions binaires (réponses ouifnon) de la forme” X € $?", oS est un ensemble, Comparez H(X) avec le nombre ‘moyen de questions nécessaires pour déterminer X. (b) Soit ¥ le nombre de lancements jusqua occurence dune deuxidme face ar exemple, Y= 5 sila deuxidine face est obtenue au cinguiéme lance- ‘ment. Argumentez.que H(Y) = H(Xy + Xs) n sont les mémes (1/2) Le nombre de questions nécessaires pour déterminer Ia valeur de X= 3. est k =r, et done le nombre moyen de questions nécessaires est E[K] = ELX] 2. Nous pouvons constater que cette valeur coincide avec Ventropie H(X) = H(p)/p = 2. 7(b) La variable aléatoire ¥ est la somme du nombre de lancements jusqu’a obtention d'une face X; plus le nombre de lancements additionnels n 6eessaites pour avoir la deuxidme face, Comme le résultat de chaque lance- ‘ment es statistiquement indépendant des autres, X; e's sont des variables algatoires statistiquement indépendantes, et done H( Xi, Xa) = H(Xa) + H(Xa|Xi) = W(X) + W(X) = 2H(X) 6 nous avons utilisé le fait que X, et X2 sont identiquement distribué Parla régle de chaine pour Mentropie conjointe AY) = HO,M)- AMY) AY, M1) = W(X) + HY |X) = A(X) + A(X + X2|Xi) So H(X,) + H(Xa/%1) W(X) + W(X 2H(X) oi les différents pas ont les justifications suivantes: (a) car H(Xy|¥’) > 0: la valeur de X; n'est pas complétement déterminge par Y (mais elle n’est pas indépendante non plus, et done I'in égalité est stricte), (0) car quand X; est connue, il ne reste que T'incertitude associée A la valeur de X: (c) car Xj et Xz sont statistiquement indépendantes, ce qui vérifie Pennoncé du probleme 6. Un tournoi consiste dans une séquence de trois combats et termine aussitét un des joueurs gagne deux combats. Soit X la variable aléatoire qui représente le résultat d’un tournoi entre les joueurs A et B, par exemple AA, ou BAB. Soit ¥ le nombre de combats effectués. ¥ peut prendre les valeurs 2 et 3 (a) Sous Ihypothése que les joueurs A et B sont équilibrés et que les combats sont indépendants, calculez H(X), H(Y), et H(X|Y). (b) Soit Z Péquipe gagnante, Déterminez H(X|Z). Comparez avec H(X). Déterminez. H(Z|X). (©) Déterminez IY; 2). résolution La Figure 5 représente I’arbre binaire qui décrit les séquences posssibles dans, ce probleme (les feuilles de arbre). Pour chaque feuille, nous indiquons les, valeurs correspondantes des variables X,Y et Z. (a) Si les joueurs sont équilibrés, la probabilité de chaque branche est 1/2 [Nous pouvons done établir la probabilité conjointe de X et Y’,résum ée par le tableau suivant‘AA_BB_ABA_ABB_ BAA BAB] ia ia 0000 00 18 ik IR 18] Par un simple calcul de loi marginale, nous obtenons facilement que ¥ est une variable uniforme binaire, Y € {2,3}, que la loi de X est la suivante X_[AA_BB_ABA_ABB_BAA_BAB (Xa 1418 18 IR 1B et que p(X|Y = 2) est uniforme dans {AA, BB} et p(X = 3) est uniforme dans {ABA, ABB, BAA, BAB}. Par application directe de la Aéfinition d’entropie, nous obtenons bit, H(Y) = log? et L HC 2a bits 1 plowed +45 og: "Nous pouvons encore éerire H(X|Y =2)=log2=1 bit H(X|¥ =3) =log4=2bits, Nous avons done 1 Labits (XI) = SMX =2)4 FM(XIY =3)= 5 (142 2 z (Vous pouvez obtenir le méme résultat 3 partir de la gle de che ne pour le pair (X,Y).) La variable Z est aussi indiquée dans la Figure 5. La loi conjointe de Z et Xest () KA_BB_ABA_ABB_BAA_BAB ia 01k 0 IR 0 01a 01 018 Test évident que Z est une variable uniforme dans ensemble (A, B), et done son entropie est H'(Z) =1 bit Conditionnellement a la valeur de Z = =, la séquence X’ peut prendre trois valeurs; une correspondant 2 la suite X = > de longeur 2 (avec probabilit 6 1/2), et les deux autres correspondant a la vietoire de l'autre équipe dans le premier ou le deuxiéme jeu (=: et 22), chacune avec probabilité 1/4. Les entropies conditionnelles sont done indépendantes de la valeur de =: 1 2 Z slog2 + Tlog4=1.5 H(X|Z=2) = Slog? + Flog4=1.5 bit Ce résultat peut étre obienu dela rele de chat ALX,Z) (X)+ H(2|X) = H(Z)+ H(X|Z) 9et done H(X|Z)= H(X) + H(Z|X)- H(z) Comme Z est une fonction déterministe de X, H(Z|X) =0: H(X|Z) = H(X)- H(Z). En utilisant les valeurs de H(X) de Valinéa précédante, et la valeur de H(Z) déterminée dans cette alinéa, nous obtenons, H(X|Z) = 1,5 bits (©) Linformation mutuelle est W(¥;Z) = H(Z)- H(z) H(Y)- H(ZIY). Nous avons dgja vu que H(Z) = H(¥) = 1 bit. La loi conjoime de Z et Y est représentée dans le tableau suivant Z Zz A_ ae B_ pia 1a D’oii nous coneluons imédiatement que les deux variables sont statistique- ment indépendantes: 1) = Pa(2)py (y), et done les entropies conditionnelles sont égales A l'entropie non-conditionnelles: Poy| H(Z|Y)= H(Z), H(Y|Z)=H(Y). information mutuelle est done null, comme une analyse intuitive du probleme sugdre (si les équipes sont équilibrées, savoir le nombre de jeux napporte pas d’information sur quelle équipe a gagné): WZ)Figure 5: Représentation du tournoi par un arbre binaire,