Pr F. Merazka Facultéd’ informatique 3°" Année GTR Théorie de l'information & caractérisation de transmission Année 2022-2023 Série d’exercices N° 1 Exercice 1 1°) Une source binaire discréte sans mémoire comprenant trois symboles {E, B, C} de probabilités respectives {0,1-0,4-0,5} L.a Rappeler la définition de la quantité d'information d’un symbole et la calculer pour les symboles de la source précédente. 1b Définir entropie d’une source. Dans quel cas est-elle maximale ? La calculer ainsi que la valeur maximale de l’entropie pour la source précédente. Exercice 2 Soit une variable aléatoire Y ayant une distribution de probabilité uniforme sur un Ensemble 4 de taille n (a) Déterminer l’entropie H(X). Sin n= 128, combien vaut H(X)? Soit une variable aléatoire X= /1, 2, 3, 4/: (a) Déterminer l’entropie H(X) associée aux probabilités P(X)= (12, 14, 18, 18}: (b) Déterminer Pentropie H(X2) associée aux probabilités 2(X) = 1/4, 1/4, 1/4, V4} Exercice 3 Soit une source avec 3 symboles interdépendants. Avec P(0) = 11/36, P(1) = 4/9 et P(2) = V4 Les P(jli) sont : 0 1 2 o | m1] 1 | 0 21 | 3/4 219 0 Vs 19 1- Caleulez H(i) et HG) ~ Exercice 4 Soient deux sources discrétes X et Y. La source X contient (a,b,c? avec des probabilités {0.3, 0.1, 0.6} et la source Y contient de, e, g {0.8, 0. 1, 0.04, 0.06}. La probabilité conjointe entre chaque deux symboles des 2 sources est donnée par PAXSY) | ws | yw | us | wm 2 Tad | 1/12] 1/76 | 1/24 9 1/6 | 1/8 | 1/24} 1/6 x3 __| 1/24 | 1/24 | 1/24 | 1/24(b) Caleulez H(X), H(Y) et H(X.Y) (©) Calculez (X; ¥ ) Exercice 5 Soient 2 sources dépendants (A, B, ©) et (D, E, F,G) aA, B|c PO 2 | 13 | 16 D Lit 3/10 1/6 Hf E| 1 [ws | 12 rw) [Fa [as [16 G 4 3/10 1/6 Pr F. Merazka 1- *Caleulez les P(i,j), H(i), H(i) et Hl)