Chapitre 8 Information et codage 8.1 INTRODUCTION Le butessentiel d'un systéme de communication est de transmettre des informations entre deux points avec Temaximum d’efficacité et de fiabilité . Nous avons examiné dans les chapitres qui précédent plusieurs méthodes pour alteindre ce résultat au moyen de signaux électriques. La théorie de information permet d”évaluer quantitativement le contenu d’un signal porteur dun message et de déterminer la capacité d'un systéme de communication & acheminer des informations entre le site de transmission et le site de réception. Grace au codage, sujet essentiel de Ia théorie de l'information, on peut réduire les redondances du message utile de fagon a exploiter au mieux les performances des canaux de transmission disponibles. En revanche, lintroduction de redondances systématiques dans le signal transmis (Support du message) permet de fiabiliser les liaisons, ‘Nous allons passer briévement en revue, au cours de ce chapitre, les quelques principes de base de la théorie de Vinformation et des techniques de costage 8.2. MESURE DE L'INFORMATION A. Sources information Une source d’information est un objet qui produit un événement dont le résultat aléatoire dépend d'une loi de réparttion probabiliste. En pratique, la source d’information d’un systéme de communication produit des messages de caractere analogique ou discret. Nous étudierons dans ce chapitre les sources discrétes, puisque les sources analogiques peuvent étre discrétisées par échantillonnage et quantification, comme nous T'avons vi ‘au chapitre 4, Une source dinformation diseréte ne peut délivrer qu'un ensemble fini de symboles. L’ensemble des symboles transmis par la source est appelé alphabet source; chaque élément est appelé symbole ou lettre. Les sources ’information se classenten deux catégories, suivant qu’elles sont & mémoire ou sans mémoire, Une source avec mémoire émet des symboles dont chacun dépend du précédent, Une source sans mémoire émet ddes symboles dont chacun est indépendant du précédent. Une source discréte sans mémoire (SDSM) se définit par sa liste de symboles, assortie des probabilités relatives & chaque symbole, et son debit, B. Contenu informatif d’une source discréte sans mémoire La quantité d'information contenue dans un événement est Gtritement lige au degré de certitude que Ion attribue & cette information. Si un événement est certain (sa probabilité étant égale a 1), il faut reconnaitre que sa réalisation n’apporte aucune information. Une mesure mathématique de l'information doit done prendre en compte la probabilité occurrence des événements attendus et satisfaire aux axiomes suivants 1, Liinformation est proportionnelle & lincertitude du résultat attendu. 2. Les informations correspondant aux réalisations d’événements indépendants ont un caractére additif, 1. Contenu informatif d’un symbole Considérons une SDSM, que nous appellerons X, transmettant un alphabet {21 ,19).-. ny} Le conten informauif d'un symbole ou plus simplement !"information que contient un symbole x;, notée I(x;), a pour dsfinition 1 1G) = losy 575 = — low, Posi) (8.1)264 INFORMATION ET CODAGE lenars (0 Pa) est la probabilité d’occurrence du symbole 4. On voit que 1x) posséde les propriétés suivantes = 1(@) = 0° pour PG) =1 (82) 16) 20 83) M(x) > Ta) si P(x) < Pay (84) T(aixy) = Hay) + HC) si et xy sont indépendants (85) L'unité dans laquelle on mesure /(x;) est le bit (binary unis) lorsque b = 2, le hartley si b = 10 et le nat (natural unit) sib = ¢, On utilise de fagon tts générale le standard b = 2. L’unité binaite, abréxée en «b>, est donc une mesure de Minformation et ne doit pas étre confondue avec le bit (binary digi?) que nous avons pratiguéjusqu’ii: Les conversions entre ces unitéss'ffectuent au moyen dela formule suivante log,a = 2S = 086 5) 2. Contenu informatif moyen ou entropie On transmet habituellement sur un canal de communication des séquences de symboles de grande longueur mises par Ia source d'information. On s"intéresse done plus au contenu moyen d'information produit par une source qu'au contenu informatf d'un seul symbole. La valeur moyenne de 1 (x) sur un alphabet dela source X composé de m symboles @ pour expression : H(X) = Eloi) = D> Poa) P(x) log, PCa) b/symbole 7) Laquamtté H (X) estappelée entropie de la source X. Elle estune mesure de1'information moyenne par symbole de la source. L'entropie H(X) de la source peut éie considérée comme la part globale d'incertitude de la source X réduite au moyen de Malphabet utilisé parla source. ‘On notera qu'une source binaire X qui produit des symboles et 1 équiprobables a pour entropie H(X) = —H og; } — Hog, § = 1 b/symbole (68) Lrentropie #/() de la source satisfait 4 la relation suivante : 0< H(X) < logym 69 ‘ob m est la dimension (nombre de symboles) de l'alphabet utilisé par la source X (probleme 8.4). La bore inféricure correspond a la certitude que Yon a Torsqu’un symbole a une probabilité d’occurrence P(x) = 1 tandis que P(x,) = 0 pour j # i, ce qui veut dire que X transmet le méme symbole x, en permanence. La limite supérieure correspond a l'incertitude maximale que l'on a vis-a-vis de la source lorsque P(x;) = 1/m pour tout 7, c’est--dire lorsque tous les symboles quest susceptible de transmettre X sont équiprobables. 3. Débit d'information Si le debit de transmission des symboles de la source X a pour valeur r (symboles/seconde), le débit information R de la source X a pour expression R=rH(X) bjs 8.10)cHarsy INFORMATION ET CODAGE 265 8.3. CANAUX DISCRETS SANS MEMOIRE A, Représentation d’un canal de transmission (On appetle canal de transmission le support ou le milicu gui achemine le message entre émetteur et récepteur. Un canal diseret sans mémoire (CDSM) peut étre représenté par un modele statistique dentrée X et de sortie ¥ (figure 8-1). A chaque période déchantillonnage, on fournit au canal un symbole appartenant & X et celui-ci délivre un symbole appartenant a Y. Le canal est dit discret» lorsque les alphabets de X et de ¥ sont fnis. I est dit «sans mémoire» lorsque le symbole de sortie fourni par le canal ne dépend que du dernier symbole regu «en entrée, indépendamment de tous les symboles d’entrée précédents. ney oy . L., Fig. 81 Canal discret sans mémoire La figure 8-1 représente un CDSM a mr entrées et n sorties. Lientrée X se compose de m symboles X1st2y-++ ms Les probabilités a priori P(x)) de ces symboles sont supposées connues. La sortie se compose de nt symboles y1,y2.---5 i» Chaque correspondance possible entiée/sortie est définie par une probabilité conditionnel P(j|x;) d’obtenir y, en sortc de canal lorsque x; até transmis & entrée du canal. On Vappelie probabilité de transition du canal. B. Matrice de transition d’un canal (On définit un canal de facon complete en spécifiant l'ensemble de ses probabilités de transition. Le canal représenté sur la figure 8-1 est done totalement defini par la matrice des probabilités de transition [P(Y |X)] qui 1 pour expression Pork) Porisi) «+ POs) wony=| Poe) Pork) -- POsbn) ain) POrn) POdbin) + POnltn) La matrice [P(Y[X)] est appelée la matrice du canal . Comme chaque symbole appligué a Venée de la voie produit un symbole en sortie, la somme des éléments dune ligne de la matrice est égale& 1, soit: Yo Poutx) = 1 por oar’ 2) Si maintenant on représente l'ensemble des probabilités d’entrée par une mative ligne : [POX =[ PG) Pox) ++ Pen) (8.13) Et sion représente les probabilités de sortie par une autre matrice ligne : Pan=[Pon Po Pon) Is) ‘on obtient la relation matricielle [Pay] = Poor LOL (85)266 INFORMATION ET CODAGE, fouar s Sil’on représente P(X) sous forme d’une matrice diagonale : Pin) 0 ° Pooe=| 2 POD vo (816) 0 0 P(xm), Ona alors la relation [P(XY)] (8.17) oo élément (i,j) de la matrice [P(X,¥)] est de la forme P(4;,y,). La matrce (P(X,¥)] est appelée maurice des probabiltés conjointes, élément P(x;,y,) tant la probabil conjointe de transmettre x, et de recevoir y, C, Canaux remarquables 1. Canal sans perte Si la matrice d’un canal ne possede qu’un élément non nul par colonne, on dit qu'il s‘agit dun canal sans perte. La figure 8-2 représente un canal sans perte, Sa matrice & pour expression : g 4000 won] 042 | (818) oooo01 at ey, — OT Fig. 82 Canal sans perte ys (On montre — relation (8.35) et probleme 8.10 — qu’aucune information issue de la source n'est perdue Tors de la transmission sur un canal sans perte. 2. Canal déterministe Un canal dont la matrice ne comporte qu’un élément non nul par ligne est appelé canal déterministe. La figure 8-3 représente un canal déterministe, dont la matrice a pour expression [Pall = (819) eetetal sooo] 1 1 0 0 °CHAPS) INFORMATION ET CODAGE, 267 3. Canal déterministe ‘Comme chaque ligne posséde un seul élément non nul, on en conclut — relation (8.2) — que sa valeur est unitaire. Lorsqu’un symbole donné est fourni a entrée d'un canal déterministe, le symbole restitué en sortie Iu est done identique. 3. Canal sans bruit On ditqu’un canalest sans bruit (figure 8-4), s'ilest la fois sans perte et déterministe. La matrice définissant le canal a dans ce cas un seul élément par ligne et par colonne et cet élément ne peut done étre qu’ unitaire, Dans ce, les alphabets dentrée et de sortie ont méme dimension. Pour un canal sans bruit on a donc m =n. L ne +». oo " 7 Fig. 8-4 Canal sans brut 4. Canal binaire symétrique Un canal binaire symétrique (CBS) a pour matrice I-p op ] POX = 8.20) Paw [ p inp (8.20) La figure 8-5 représente un canal binaire symétrique, t-p tp Fig. 85 Canal binaie symétrique yno nol268 INFORMATION ET CODAGE, [cHar s Ce canal est pourvu de deux entrées (xj = 0, x2 = 1) et de deux sorties (9 = 0, »2 = 1). Le canal est symetique parce que la probabilité de recevoir un I si 'on aémis un O est identique & la probabilité de recevoir «un 0 lorsqu’on a &mis un 1, Cette probabilité de transition commune est notée p (voir probleme 8.35). 84 INFORMATION MUTUELLE A. Entropies conditionnelle et conjointe lest possible, en utilisant les probabilités en entrée P(x), les probabilités en sortie P(y,) et les probabilités cconjointes P(1x,);), de définir diverses fonctions dentropie relatives & un canal & m entrées et m sorties : Hix) Eroobes: PO) (8.21) HO) =~ Popo: PO” (822) HAW) =- YO Pew.» logs only (8.23) HU) = ~SOS Pym T0g, Psd) 62H HOXY) == SS) Plxi.ys) los PG) (8.25) (On peut interpréter ces entropies comme suit H(X) est Vincertitude moyenne relative & Mentrée du canal. H (Y) est Vincertitude moyenne relative & la sortie du canal. L’entropie conditionnelle H (XY est une mesure de 'incertitude moyenne sur "entrée du canal tne fois que l'on a observé sa sortie. 17(X|¥) est parfois appelée ambiguité de X par raport& Y. Lentropie conditionnelle H(Y |X) est incertitude moyenne sur la sortie du canal sachant que X a été transmis. Lientropie conjinte H(X,Y) mesure incertitude d'ensemble relative & ensemble du canal de communication. I existe deux relations intressantes entre ces diverses quantiés H(XY) = (XIV) + HO) (626) HCY) = H(VIX) + HOO, (827) B. Information mutuelle On définit information mutuelle I(X; ¥) de la fagon suivante U(X; ¥) = HX) — H(X|V)_ b/symbote (8.28) Comme 1(X) représente l'incertitude relative A entrée «iu canal avant que l'on ait observé sa sortie et puisque H(XIY) représente Iincertitude sur Ventrée apres que la sortie a é16 observée, I(X;Y) mesure le gain d'incertitude relatif au canal qui résulte de l'cbservation de sa sortie. Propriétés de I(X;Y) 1 XY) = 1075 X) (8.29) 10GY) 30 (8.30)CHAPS] INFORMATION ET CODAGE 269 3 1G ¥) = HY) ~ HV IX) (8.31) 4 1OGY) = H(X) + HY) ~ H(XY) (8.32) 8&5 CAPACITE D'UN CANAL. ‘A. Capacité par symbole d’un canal La capacité par symbole dun canal discret sans mémoire a pour expression Ci = max 10X57) b/symbole (8.33) (oi le maximum est recherché sur l'ensemble de toutes les répartitions (P(x;)} de X. On remarquera que la capacité du canal n'est fonction que des probabilités de transition qui le définissent. par seconde d'un canal Sir représente le débit du canal en symboles par seconde, le débit maximal d’information du canal a pour valeur rC,..On appelle cette quantité la capacité par seconde du canal. Elie est notée C(bis). c C. b/s (8.34) C. Capacité de canaux remarquables 1. Canal sans perte Pout un canal sans perte, on sat (probleme 8.10) que H(X|¥) = O et que 10X:¥) = HOO (835) Ainsi, "information mutuelle (le transfert d'information) est égale a l'entropie de source et l'on ne pend aucune information pendant le transfert. En conséquence, la capacité par symbole du canal a pour expression pss, HOO) = log, m (836) ‘o'm est le nombre de symboles de X. 2. Canal déterministe Pour un canal déterministe, H(Y|X) =O pour toute distribution P(x,) et Yona TOG Y= HO) (837) Le transfertdinformation estégal’entropic de sortie. Lacapacité par symbole du canal adone pour expression C= max HO) = logy (8.38) co mest e nombre de symboles de ¥ 3. Canal sans brut Comme un canal sans bruit est sans pete et céterministe, on en déduit que 1:7) = HX) =H) (839) tla capacité par symbole du canal a pour valeur (8.40) puisque pour un tel canal n = m 4 Canal binaie symétrique Dans le cas du CBS de la figure 8-5, Pinformation mutuelie a pour expression 1X; ¥) = HW) + plog, p+ (I ~ p)log,(1 ~ p) (sl)20 INFORMATION ET CODAGE Icuars ct la capacité par symbole du canal a pour expression : + plog: p + (1 ~ p)log,(1 — p) (8.2) 8.6 CANAL AVEC BRUIT BLANC GAUSSIEN ADDITIF La sourve qui alimente un canal anslogique produit un signal continu x(#). On considére l'ensemble des messages susceptibles d°étre transmis comme une famille de signaux engendrés par un processus aléatoire ergodique. On suppose de plus que (1) présente une bande passante finie ce qui permet de reconstruire x(1) & partir de ses échantillons périodiques. A tout instant, la collection des échantillons susceptibles d°étre observés cconstitue une variable aléatoire continue X que l'on peut décrire au moyen de sa densité de probabilité fy (x). A. Entropie différentielle La quantité moyenne d'information par échantillon de x(t) a pour expression : 1X -f FG) log, f()dx b/échantillon (843) Leentropie définie par la relation (8.43) est appelée entropie différentielle de X. Liinformation mutuelle moyennée d’un canal analogique a pour définition, par analogie avec un canal diseret 106, ¥) = HOO ~ HX) ou 17) =H) HO IX) ovrona Ha) =~ J fortes, frordy (a4) HW) -f-f far (ey) logs filly) dx dy (8.45) nao=— | [fyb fom dedy (6450) B. Canal avec bruit blane gaussien addi Dans fe cas d'un canal affecté d’un bruit blanc gaussien additif (BBGA), la sortie. ¥ du canal a pour expression Y=aX+n (846) (00 X désigne entrée du canal et n est un bruit blanc gaussien additif & bande limitée de valeur moyenne nulle et de variance 0, La capacité C, d'un canal affecté d'un bruit blanc gaussien additif a pour expression 1 s C= max 106; 7) = biog, (14-2) bjechantition 84 ayer pee (4%) an ob S/N est le rapport signal sur bruit en sote de canal. Sila bande passante B en He du canal est déterminge, Ie signal de sortie y1) a hi aussi une bande passante dfinie. I peut étre resttué en toa & partir des ses échantllons périotiquesprélevés la fréquence de Nyquist: 2 échantllons par seconde, Ainsi, la capacté C en bs d'un canal affect par un BGA a pour expression c 2c, = Boe, (1+ 5) bys (648) La relation (8.48) est connue sous le nom de régle de Shannon-Hartley.curs) INFORMATION ET CODAGE m Cotte rbgle souligne les réles fondamentaux que jouent la bande passante et le rapport signal sur bruit en {élécommunication. Elle montre aussi qu’a capacité de canal donnée, bande passante et puissance présentent des aspects complémentaires (probléme 8.24) lorsqu’il faut trouver un compromis. 8.7 CODAGE DE SOURCE La conversion du message de sortie d’une source discréte sans mémoire (SDSM) est appelée codage de source. Le dispositif qui effectue cette conversion est appelé codeur de source (figure 8-6). sete ans Codaae de méimoire a Leas J suite binaire Xe bot i, 8-6 Codage de source Lobjectif du codage de source est de modérer le débit d'information moyen du canal en réduisant Ia redondance des informations émises par la source. A. Longueur et efficacité dun code Soit X une SDSM d’entropie finie H1(X) et un alphabet (x1.22.--- tm) dont les probabilités occurrence ‘comrespondantes sont P(x))(i = I,..-.m). Soitm; la longueur en bits du mot codé affecté au symbole x; par le ‘codeut. La longueur d'un mot codé est définie par le nombre de digits binaires du mot. La longueur moyenne par symbole d'un mot codé a pour expression Lay Pam (8.49) Le parametre L représente le nombre moyen de bits par symbole source utilisé dans le processus de codage. On définit eficacité d’un code n de la fagon suivant Lain se (650) (ol Lie est la valeur minimale que peut prendre L. Lorsque 1 approche de la valeur 1, on dit que le code est efficace, Laredondance y d'un code a pour expression : 651) B, ‘Théoréme du codage de source Le théoréme du codage de source établit que, pour une source discréte sans mémoire (SDSM), la longueur ‘moyenne L. par symbole est bornée inférieurement : L>H(X) (852) De plus, peut étre rendu aussi proche que I'on veut de cette limite & condition de bien choisir le codage. Comme Lia = H(X), on peut donner une nouvelle expression de Vefficacité dun code : HO) a 653)m INFORMATION ET CODAGE, icnars, C. Classification des codes est intéressant utiliser un exemple pour expliquer la notion de classement dun code. Soit le tableau 8-1 représentant le codage au moyen des symboles 0 et 1 d'une source de dimension 4. Tableau 8-1 Codage binaire x, | Codet | Coder | coaes [| Codes | Codes | Codes * oo 0 0 0 0 1 4 or o 1 10 o oO % 0 10 0 0 on 01 x u n n a oun 001 1. Code de tongueur fixe Un code de longueur fixe est un code dont tous les mots ont méme longueur. Exemple: les codes 1 et 2 du tableau 8-1 sont de longueur 2. 2. Code de longueur variable Un code de fongueur variable est un code dont les mots ne sont pas tous de méme longueur. Exemple : les codes 3, 4, 5 et 6 du tableau 8-1 3. Code univoque Un code univogue est un code dont chaque mot est distinct de tous les autres mots. C'est le eas des codes 2 6 du tableau 8-1. Contre-exemple : Te code I pour lequel les codages de x; et de x3 sont identiques. 4. Code sans préfixe Un code sans préfive est un code pour lequel aucun mot ne peut étre formé a partir d’un autre par addition de symboles. Exemple: les codes 2, 4 et 6 du tableau 8-1. 5. Code déchiffrable de fagon unique Un code déchifrable de facon unique est un code qui permet de restituer dans son intégrité et sans ambiguité tune séquence de symboles d’ entrée & partir de la séquence des codes binaires qui leur sont assoviés, On remargue ‘que le code 3 du tableau 8-1 n'est pas un code déchiffrable de fagon unique puisque la séquence binaire 1001 eut comesponcire & une suite d’entrée xoxsxp ausi bien qu’ une suite x2X).%122. Une condition suffisante pour {qu'un code posséde cette qualité est qu’aucun de ses mots ne soit le préixe d'un autre mot. C’est ainsi que les codes 2, 4 et 6 du tableau 8-1 sont des codes déchiftrables de fagon unique. Cette condition n’est pourtant pas nécessaire & Punicité de déchiffrage. Le code 5 du tableau 8-1 n'est pas un code sans préfixe, il est pourtant & déchiflrage unique; le code 0 est préfixe de chacun des autres mots du code. 6. Code instantané ‘Uncode a déchifrage unique es dit code instantané sila fin de tout mot de code est identifiable sans examen des symboles du mot de code qui suit. Les codes instantanés sont des codes sans préfixe. C'est pourquoi ces C,, il est impossible de transmettre des informations sur le canal considéré avec une probabilit d’erreur arbitrairement réduite. (On retiendra que le théoréme du codage affirme lexistence d'un cod: construire. sans donner les moyens de le C. Codage par blocs ‘Dans un codage par blocs, on code le message binaire ou Ia suite des données sous forme de blocs séquentiels. longs de k b et chacun de ces f-b blocs est converti en un n—b bloc avec n > k. On appelle le bloc obtenu un (n,k) bloc. On peut ainsi représenter un mot codé sous forme d'un (n,k) bloc Cie Cay nce42 ey ‘ix domtex 6 pre Les n ~ k bits de la seconde partie du mot.codé sont des bits de contrdle de parité. Dans ce cas, le codeur effectue 'opération de conversion suivante T:U3V (855) 0 U est un ensemble de mots binaires de longueur k et V est un ensemble de mots binaires de Tongueur n avec n> k.Chacun des 2! mots de données est associé de fagon biunivoque & un mot codé, Le rapport k/n est appelé taux de remplissage du code. 8.10 CODAGE AVEC CONTROLE D'ERREUR Les codes utilisés en communication peuvent corriger ou simplement détecter les erreurs de transmission, suivant le taux de redondance des bits de controle de parité. Il existe donc des codes correcteurs d' erreur de Iypes tes divers, tels que les codes a contrdle de parté linéaire, les codes cycliques et les codes convolutifs. ‘Nous allons parler ici des codes a controle de parité. A. Codes & contréle de parité linéaire Test commode de représenter le mot codé d'un codage par blocs (n,k) sous forme d'une matrice. Le mot ccodé est une ligne de la matrice dont les éléments sont les symboles du code. On peut représenter un vecteur code ¢ ct un «vecteur données» d de la fagon suivante e=la a ond dala d 4)276 INFORMATION ET CODAGE [cna s Si les k premiers bits d'un mot codé sont des bits de données, on dit que le code est systématique. Dans le cas d'un codage systématique & controle de parité, les k premiers bits sont des bits de données tandis que les ‘mt = n — k suivants sont des bits de controle de parité formés par combinaison linéaire des bits de données : aad, aah cuit = Pridi ® Prads @--- @ ude (8.56) cua = Paid © Prd ®-- @ Pads Cem = Paid ® Paads ®---® Pande 0 @ indique addition modulo 2, dont les régles sont définies civaprés oe oe =101= 100 La relation (8.56) peut s’écrire sous la forme maticielle qui suit Opn pa Pot 0 pa pm Pra oon To pu Pu Pak oa Ton a. G=[h PT] (858) expression dans laquelle /, est 1a matrice unité d’ordre & et PT est la matrice transposée de la matrice des coefficients P ayant pour expression Pu Pa ba ea 39) Pmt Pa“ Pat Lamatrice G de dimensions k x n est appelée matrice génératrice. Le code (ensemble complet des mots codés) ‘engendré par Ia relation (8.56 ) ou (8.57) est appelé code a contrdle de parité linéaire. B. Matrice de contréle de parité Soit H la matrice de dimension m x » ayant pour définition : H=[P In] (8.60) nk. Onaalors: ice u “(2 ] (861)canes INFORMATION ET CODAGE mn ainsi que , Gu" =[h ml, ]-rerr=0 (8.62) ‘0 l'on areconnu dans 0 la matrice nulle de dimension & x m. Une postmultiplication par #77 des deux membres de la relation (8.57) et l'utilisation de la relation (8.62) permet d’obtenir cH? =aGH" (8.63) Lamatrice H est appelée matrice de controle de parité du code considéré etl relation (8.63) est appelée relation de parité. C. Décodage syndromique Soit r le vecteur I > m regu a la suite de Ia transmission du vecteur code e sur un canal bruté. Considérons tout d'abord le cas dune seule erreur en position i. On a r=cbe (8.64) oil ona e=(0---0 1 0---0} (8.65) 1 position i Le vecteur e est appelé vecteur d’errewr. Notons au passage que la somme (modulo 2) de deux vecteurs codes, a et b a pour définition = [ay Bb; a Sby ++ Gy Gly] ol lona jay aa o> ay) b= by b+ bul On évalue ensuite r/77 et on obtient FHT =(c@eH" =0GeH" =eH" = (8.66) Le vectour 1 x m obtenu, s, est appelé syndrome de r. Ainsi, connaissant $ et en remarquant que eH est la iéme ligne de 7, on peut repérer la position d'une erreur en comparant s aux lignes de H™. On appelle decodage syndromigie ane su oni & coer un message en effseuant cet eompaason I f fuss dite que on ne pos denier la total ds configurations errnées pur Jerdage sym. Ua Syndrome esrindgue que xt un veer code presime vali Sous dong syromign, un (nk blo de cod ine pet coger us’ eters par mot de ode sin ett respecte alin de Hamming. 2 0(") on (= arn Un codge par blocs qui sti Peglté de I elton (8.07) ex apple cade para. Las codes parts capblssc org ue cele ener set appa odes de Hamming Onzmagues quel rexpectde laine de Hamming ex tcesnaie mais nonsufseatorsdelacenstction aruncate cnr de pu capable de comge toners od ona278 INFORMATION ET CODAGE [ouars 811 DETECTION ET CORRECTION D’ERREUR EN CODAGE PAR BLOCS LINEAIRE ‘A. Distance de Hamming tant donné deux vecteurs codes e; et ¢; de méme dimension (nombre d’éléments), on définit une distance de Hamming di(cj,¢)) entre ces vecteurs égale au nombre de positions ob leurs éléments sont différents. ‘On définit également le poids de Hamming w(¢;) d'un vecteur code ¢; égal au nombre de 1 de ¢;. On peut ainsi dire que le poids de Hamming de ¢; est sa distance de Hamming par rapport au vecteur 0, c'est-i-dire we) = d(6;.0) (8.68) fo 0 est le vecteur code dont tous les éléments sont nuls. On peut aussi exprimer la distance de Hamming en fonction du poids de Hamming d(ene)) = wile Be) (8.69) B_ Distance minimale La distance minimale dun code par blocs linéaire est la plus petite distance existant entre deux vecteurs du code. D'aprés la propriété de fermeture des codes par blocs linéaires (la somme — ou la dfférence — modulo 2 de deux vecteurs codes est aussi un vecteur code), on peut déduire le théoréme suivant ‘THEOREME 8.1 La distance minimale d’un codage par blocs linéaire est le plus petit poids de Hamming du veeteur code non nul du codage. D'aprés la relation (8.63), on peut définir un codage par blocs linéaire comme ensemble des vecteurs codes pour lesquels, cH” =0 (870) oi H™ est latransposée de la matrice H La distance minimale dyn d'un codage par blocs linéaire est étroitement lige a la structure de la matrie de controle de parité 1" de ce code. C'est ce qu’énonce le théoréme suivant THEOREME 8.2 La distance minimale dais d'un codage par blocs linaire est égale au nombre de lignes de la matrice H dont la some est égale a0. C. Détection et correction derreur La distance minimale d’un codage par bocs linéaire est un paramétre important du code. Elle détermine les ccapacités de détection et de correction «erreur du codage. C’est ce que confirme le théoréme suivant ‘THEOREME 8.3 Un codage linéaire par (n,k) blocs de distance minimale diy peut corriger jusqu’a erreurs siet seulement doy, 22041 (871) On peut donner une représentation géométrique de la relation (8.71). La figure 8-8 représente deux spheres de Hamming, chacune de rayon 1, centrées sur les points représentatifs de deux vecteurs ¢; et ¢;. Dans le cas 8-8(@) les deux sphéres sont disjointes c'est-i-dire que d(e:,¢)) > 2 + 1. Si l'on transmet dans ces conditions le vecteur code ¢;, et si Pon regoit un vecteur F tel que di().r) < r, il est clair que le décodeur choisira ¢; puisqu’il s‘agit du vecteur code le plus proche du vecteur r. En revanche, dans le cas 8-8(6), les deux spheres sont sécantes c’est-A-dire que d(¢;,€;) < 21. On voit que si l'on transmmet alors ¢;, il existe un (parmi d'autres) vecteur réception r tel que d(ei,r) < et d(e),r) 7,4 [= 4400] b/symbole280 83. INFORMATION ET CODAGE (cuar s (On considére une source binaire sans mémoire produisant deux symboles x, et x2. Montrer que H (X) est maximal lorsque x; et x2 sont Equiprobables. Posons P(xi) = a. Men réulte que P(x2) = 1 —a. HEX) = ~elogy@ ~ (1 ~ a) logy(1 —@) (72) En dérivant par rappott ail vient aH) Ta 7 ql l082@ ~ (1 =a) lop9(1 =a) ‘En utilisant Midentité Stayy= bias o& Hoppe gilt ==) = bey Pours mximam de (8), assur con Hix) we ‘ce qui conduit &'équation ‘On aura remargué que H(X) = O lorsque a = Ooue = 1. Lorsque P(x1) = Ptx2) = pour expression 4, HO est maximum eta HED $gs2 + log = eymboe 679 Verifier la relation (8.9), c"est-ddire 0.< H(X) Hen ésuke que: 1 Pox) toes Lh > 0 Noes Bay > 10S parees gia >0 a (On remarque d’autre part que renee phy sit seulement si P(x) = 0.00 1, Comme d’autre part Sraret lorsque P (x2) = 1. on en conclu que P(xj) = 0 pour j #7. est seulement dans ce cas que H (X} Démonstration relative & la bome supérieure; considérons deux répanitions de probabiité (P(x) = Pi) et {Q(a5) = Qi) portant sur Valphabet (x7), = 1,2... 4m, saisfaisant la condition va So, 1 75)CHAPS INFORMATION ET CODAGE 281 85. 86. En faisant appel la relation (8.6), on peut erie 876) 67 en utlisant a relation (8.75). Ona done vo Qi 78 son, 2 <0 87 Erion 678) galt aie que lorsque Q; = P; pour bute valeur ei Enposint a= a 1,2,... 4m (8.79) om btent Siow Fig =~ Poe Se laa =H) — bm? =H) —Wogpm <0 6.80) oa Fon deduit AUX) < logy m Quant 'égalité, cle se produit uniquement lorsque les symboles de X sont équiprobables, comme dans la relation 8.79, Une image TV haut résolution en noir et blanc comporte environ 2X 108 pixels (éléments d'image) et seize niveaux de gris, La fréquence de renowvellement est de 32 images par seconde. On suppose que les pixels sont indépendant les uns des autres et que les niveau de gris sont équiprobabls. Evaluer le C,on ne peut envisage une transmission sans crear (e) Lerappor sina sur brut requis se déduit dela relation ‘ s = 104g, (145) > suo soit 5 tors (14+) > Cestidire 1458 a26 52255 = 24108 ome de N Ny Jes 1 faut un appor signal sur bruit supérieur ou égal 24,1 dB pour assuer une tansmission sans erreur. (@) Lebar passante nécessare peu se déduite de a relation le bruit C= Blog3(4 + 100) > U0") suler Ia : sco’ oe 2 gray = 12000 He = 12k La bande passnterequse dit ere supérieure ou égae& 12 KHZ. CODAGE DE SOURCE 8.25, On considére une source diseréte sans mémoire X a deux symboles x; et x2, avec P(x) = 0,9 et (42) = 0,1. Ces symboles sont codés comme I'indigue le tableau ci-dessous Tableau 8-4 | Pts) | Code “xy T “09 | 0 | ol 1 | Ayquist, ss sont Calculer Ieficacté net la redondance y de ce code. Diaprés fa relation (849), Ia longueur moyenne L. par symbole du code a pour valeur 10 kHz 2 L= Pen = 0.91) + 0.00) aditions a294 8.26. 821. INFORMATION ET CODAGE cHars ‘arts a relation (8.7) Y Pea tog, Pex) * 1) <4) = 489% Leextension d’ordre deux de la source diseréte sans mémoire X du probleme 8.25, notée X?, consiste a trater Tes symboles sources par paire. Le tableau 8-5 représente le codage correspondant. Calculer Vefficacité n et la redondance y de ce codage étendu. “Tableau 8-5 Pla) | Code J aann | Ost 0 =x, | 009 0 ayaxx, | 009 110 arm, | oor | ut L=SPlaiyns = 08101) + 0,092) +0,09(3) +0.018) = 1,29 b/symbote Lrentropie de lextension dordre deux de X, H (X*), a pour expression ~Y Pea togs Pla =0,81 10g 0,81 ~ 0,09 93 0,08 ~ 0,09 1093 0,09 — 0, = 0,938 b/symbole (on en det etTeais du code _ HO?) _ 0,938 e L 29 HO?) = 0,727 = 72,7% ainsi que la redandance y du code y= 1-9 = 0273 =27,3% (On remarquera au passage que H(X®) = 2H (X). (On considére une source discréte sans mémoire X produisant les symboles x; 8-6 propose quatre codages binaires possibles. = 1,2,3,4. Le tableau Tableau 8-6 Coa | Gwe | Guo | cod nj > logy Py = 1 ‘ou encore 2 2m > poe Pym Ce qui donne (8126) Onendéduit (27) Soit en dstnitive (828) CHARS) eq 831, On Po lace our Oror CODAGEE 832. Unes sont Mont 100% o On perure | curs) INFORMATION ET.CODAGE 201 \ ' ce qi indgue que inggalité de Kraft (8.54 est sais et quel valeur de K est encade de a fagon suivante 7) Lewes (ara 0 11) 831. On considére une source discréte X d’alphabet x; dont les symboles ont pour probabilités associées Psi) = Phi = 1,2... me Monitor qu'un codage construit en respeetant la relation (8,24) satsfait & lacondition H(X) 06 o19— oas—_ 3 oe 016 ke OS 6 y a a => rem 41) 4 (0,19 40,16 + 0,15 + 0,003) Hx) _ 2.15 HO) 21S go = 97.74 Lo Ep TOT =. La longucur moyenne du codage de Hulman est plus courte que celle de Shannon-Fano, son efficacité est done meiteure CODAGE D’UN CANAL DE TRANSMISSION 8.38. On considére le canal binaire symétrique (CBS) de la figure 8-13 (probleme 8.16). Montrer que sa probabilité d’erreur a pour expression Pap (8.132) 837. D’apris la relation (8.20), on peut éerire ee Poin) Paka) poinr= - worn ['5? 2 5]=[reino rose {La probabilité moyenne d'erreur Py a pour expression Pe = Posie) Pi) + POIs) Plan) =pa+ pla) =p 8.36. On utilise le canal du probléme 8.35 avec un codage répétitif dont les symboles binaires 0 et 1 sont EpEIES n fois, avec m = 2m + 1. Le décodage se fait en appliquant un critére majoritaie : si T'on a regu dans un bloc de m bits plus de O que de 1, le décodeur opte pour la ception d'un 0, Dans le cas contraire, il décide qu’il a regu un 1. Une erreur se produit done lorsque m ++ 1 ou plus parmi les 2m + | bits sont incorrectement recus. (@) — Montrer que la probabilité d’erreur P, a pour expression = C)ea-or aus ipars cHars) INFORMATION ET CODAGE 301 () Calculer P, lorsque p = 0,01 pour n = 3,5 et 7, (a) Laprobabilité de recevoir erroné le i" bit a pour valeur. (")eta—oe ‘Dod la probabilitécherehée & (yaar r=(3)o0nies+(3) oon? 300-4 s 2, (5) 5 3 a 4 1.=(3)io0v'ass? + (8) oantass+ (2) oan*=200- = 9,85(10"%) = 10°F Pour 01, ona iG os 7 : 7) (0,01)%0.99) 7) 0" +(2)eorres+ (?).oon = 3,416(10-7) 8.132) 8.37. On considére un codage utilisant un bit de contrdle de parité par bloc de & bits (dy -» dy) transmis. Ce bit yest choisi de fagon a satisfaire a a rege de parité suivante 4 OhLO-- Oh Oe =0 (@ Pour k = 3, donner tous les mots codés possibles du (4,3) code. (®) —Quels sont les mots erronés que peut détecter ce (4,3) code? (©) Calculer la probabilité de non-détection d’un symbole erroné en supposant que les erreurs de symbole sont indépendantes et que la probabilité dune erreur de symbole est p = 0,01. (@)Mexiste2# = 2° = & mots codés possibles dont le tableau 8-13 donne la iste. ‘Tableau 8-13, 1 sont va regu Donnéecoiée | Bide parte | Moteode mntraire, 000 0 ‘000 its sont oot 1 out 00 1 o101 on 0 ou10 300 1 1001 101 o 1010 3 oy m0 | 0 1100 m1 1 nu302 INFORMATION ET CODAGE [cua s () —Le(43) code est capable de détecter toutes les configurations 8 1 bit ou 83 bits erronés. (6) Laprobabilité de non-détection ’un symbole erroné Prue est Egale a la probabilité d’existence de 2 ou 4 cereus réparie aléatoitement dans un mot codé, soit ac= (Soap (Jo = 6p7(I — p)? + pt + 0.01)* = 5.8800") CODAGE ET DETECTION D'ERREUR 8.38. On considére un (6,3) code linéaire dont les trois bits de contrale de parité d'un bloc ¢4,¢s et ¢ sont obtenus de la fagon suivante aed; 4640 Co= dy Ody (a) _Ecrire la matrice génératrice de ce codage, (®) Donner tous les mots codés possibles de ce cod (©) On suppose que l'on a recu le mot 010111, Décoder ce mot en identifiant les bits erronés et en les corrigeant (a) Les équations cidessus permetten d'écrire — relations (8.56) et (8.59) 'D’oi, en vert dela relation (8.56) () Comme k = 3, on a 2° = 8 mots codés possibles, Si done d = (101), en invoquant la relation (8.59), il ven roorns e=dG=(1 0 nfo 10017 Oo1L 1, (On constrit de méme les autres mots de ce code. Ils apparassent sur le tableau 8-14, o1rcoy Teas 84 Fe ‘won | Ta0 | ~ioris oor | oonio J ior | so10 oo | ovo | io | soi on 011101 an | 111010 cH 839,HAPS Dou is sont ss eten (6.59), i cues, INFORMATION ET CODAGE 303 (©) Drapes ia elation (8.61), 0m Or,ona Opt Oge ven} apres la relation (8.6), le syndrome de F a pour expression 1 1 1 io noo 1 o Puisque 8 est identique & la quatrigme ligne de H™, le quatriéme bit est erroné, le mot correct éait 010011 1 le mot de données correct a pour valeur 010, 839, Lamatrice de contréle de parité d'un code est Ia suivante 101100 we[ptoo re d11001 (a) Déterminer Ia matrice génératrice du cose. () Trowver le mot codé qui a pour début 101 (©) Onaregu le mot 110110. Déchiffrer ce mot. otk En invoquant la relation (8.67), on obtient itt praloud ie Ont Done, d'aprts la relation (8.58), la matrice génératrice G est Ia suivante boot Ey Gis ao (@ Comme H est une matrice 6 x 3, oo ® Ona. oroin (0) On peut écrie que a’oa Yon déduit: 0G ort bod =uroriall } jf=o1 0 oro oo1 Comme st identique la deuxitme ligne de la marie H, le deuxitme bit est eoné, le codage comet ¢t 100110, ot mot de données corect est 10,304 8.40, Bal, INFORMATION ET CODAGE [chars c Le codage répétitif étudié au probléme 8.36 est un (n,1) code par blocs. Ce code ne comporte que deux ‘mots codés : un mot dont tous les bits valent 0 et un mot dont tous les bits valent 1. Considérons un codage od n (a) Construite la mattice génératrice G de ce (5,1) codage par blocs. (®) Déterminer Pensemble des mots de ce code au moyen de la matsce G. (©) Quelle est la matrice de contréle de parité H de ce code? (@)— Montrer que GH™ (@) ya bits de pai identques au bit de données. Pou k = I, la matric ident se Edu la valeue 1 tsi on en cot es telations (6.56) t (6.57), la matrice PT a pou expression Praprig La elation (6.58) nous permet de construire la matrice G G=nriin Dy Lorsque ds e=(0ll 1 1 1 N=0 000 o Lorsque di est tir gant iiy (©) _D’aprés la relation (8.60), la matrce de controle de parité H & pour expression Lrooo Lo100 Hele -Tio ore Looot (@ _Bneffectuante produit GH on obtient eee 1000 GHT=0 111 lo 1 0 off 0 0 oo oo10 ooot Revenons sur le (5,1) code a répétition du probleme 8.40. (a) Calculer le syndrome des cing configurations présentant un bit erroné, (b) Faire de méme pour les dix configurations qui présentent deux bits erronés. (©) Montrer que le (5,1) code répétitif est capable de corriger jusqu’ & deux erreurs (a) apres le probleme 8.49, on 1 1 HT=|o 100 842 oo10 ooot Sion applique la relation (8.66), le syndrome 8 a pour expression eH? od eest le vecteur d’ereur Soite= [1 0 0 0 Oil vient eee 1000 ooo gor oof=n iri y oo10 ooot On calcul les autres syndromes dela méme fagon; le tableau 8-15 en donne la liste.CHARS cua) INFORMATION ET CODAGE 305 se deux ‘Tableau 8-15 1000 | 1iit 1000 | 1000 0100 | 0100 0010 | 0010 valeur 1 0001 | ooo (©) Leveeteurd'erreura pour expression {11 0-0 0) il vient done rudd 1000 meee sree oo10 ooot ‘On notera au passage ques est Ia somme modulo 2de fa premiéze et do la douxidme ligne de la matrice H™ (probleme 8.43). ‘On évalue de la méme maniére les autres syndromes dont le tableau 8-16 donne la lst. ‘Tableau 8-16 11000] 0111 soo | 101 toro | 1101 noon | 1110 oro0 | 1100 o110 | 1010 101 | 1001 ooo | 10 cor | oir 00011 | oo1t (© Comme les syndromes de toutes les configurations & une ou deux erreurs sont différents, le (5,1) code & épbtiion exudié esteapable de corrger jusqu’a deux erreurs. 842, Montrer que tous les vecteurs d’erreurs dont la dfférence est un vecteur code ont méme syndrome. Site code comport k bits de données, i existe 2 vecteurs-codes distinc, que on note ej. f = 0.1.21 Pour tou veteur erreur €, on peut déinir 2 vecteursd'ereur distinc fe; els que Devt wn e=0oq i= ‘vient En posulpiant es deux membres de a relation (8.134) par Het en invoquant la relation (86 GH? =(e@e)HT = ell” BHT =eHl” @0= eH" (8.135)306 843, 844, 845, INFORMATION ET CODAGE (chars Montrer que le syndrome s est la somme modulo 2 des lignes de la matrice H qui correspondent a la localisation des erreurs dans les mots erronés, Exprimons la matrice H7 sous la forme suivante hy he at 6136) ie En portant la relation (8136) dans la relation (8.66), on peut exprimer le syndrome s comme hy hy a en) Vem (6.137) iy ‘ite este elgment du vecteurd'ereure qu a pour expression 1 sllexste une ereur en position 1 © =o sity pas dlemeur en position # Demonte a elation (867), save qu le nombre debits de conele de prt — kun (a) code par blocs lini capable de corgr jung ereurs ar not cod doit espe la nite de Hanning rer) existe en tout 2"~* syndromes y compris le syndrome dont tous les bits sont nuls. Chacun de ees syndromes conesjonda ue confgaon enone paral. Leno eSniiguraon eres en sods dn bi est gl au sore de hn debi prin, ese"), Tendelte que le nombre tt de configuaos enone el E(t) configurations erronées. On doit done avoir Ee On considére un code capable de corriger une erreur sur des mots codés & 11 bits de données. (@) _ Combien faut-il de bits de contrdle de parité& ce code? (b) Quelle est la matrice de contrOle de parité H de ce code? (@)_—_Daprts ta relation (8.67) “> E()= (6) +()ate Soit Posons n ~ k Honan = m4 11,3 vient 2M > 2bm—o mad 1 faut au moins 4 bits de contebe de parte. CHAP cops 8.46. 847.CHAP. ent Ala (6.136) 6.137) ) code ming dromes emits oes est otal de naps INFORMATION ET CODAGE 307 pet] _per iia a Pourque le code détete une seule erreur il faut ques 1 premires lignes dela matrce 17 soien uniques ies doivent aussi tre différentes des 4 demitzes lignes qui ne comportent qu'un I pat ligne tne peuvent fire ideniquement nls Avec es conditions, une matrice de conte ici e pour expression ()—Draprés ta relation (8.61), 008 de paris H (transpos fe H) pour le (15,11) code étudié Li Looorttoriooo |p Oeonileimo aie Omi bie Omiecno) O1oO1OLTOLLIOO1D oolo1toOLtitooor CODAGE PAR BLOCS LINEAIRE ET CORRECTION D’ERREUR 8.46, On considére les vecteurs-codes qui suivent a 0019 1104 e=fl 1001) (a) Calculer d(ey,e2), d(e,¢3) et d(e.€3). (©) Montrer que d(1,€2) + d(e2,es) > d(ey,e2) (@) En nvoquant la relation (8.69), on obtient d(e.e2) wi tty wo 101 y=3 wf 0 10 dee1.e3) (2,63) = WE BE) o dler.e2) + d(e2,e3) +223 =d(ene) 847. Montrer que sie; et, sont deux vecteurs-codes un (n,&) code par blocs linéaire alors leur somme est aussi un veteur-code ‘Comme tous les vecteus-codes € doivent satisfaire la relation (8.70), on a HT 20 ct GHT=0 Done (6 @e)H? =GHT @GHT 0+0= e139) ce qui monze que ¢; ¢) est aussi un vecteur-code. 848, Démontrer le théoréme 8.1, savoir que la distance minimale sur un codage linéaire par blocs est égale au plus petit poids de Hamming des vecteurs non nuls du code. Diapras a clation (8.69) AXe;.¢/) = wler ®e)) ot on déduit que nix = min di.) = min wle: Bey) (8.139) En lilisant Je résultat du probleme 8.47, la relation (8.139) devient doin = mia we) (8.140) Ca308 INFORMATION ET CODAGE rena s cH 8.49. Démontrer le théoréme 8.2, & savoir que la distance minimale d'un code linéaire par blocs est égale au 85 nombre minimal de lignes de H7 dont la somme est égale au vecteur 0 Diapres la elation (8.70), 0n & cH" =0 Le produit eH est une combinaison linéaire des lignes de H (voir probleme 8.43), e nombre minimal des lignes cde H? dont la somme est gale 0 pour valeur nig 0 co J aqui est dpa dy apes la elation (6.140). 8.50. On considére & nouveau le (6,3) code du probleme 8.38, (a) Monier que din = 3 et que ce code est capable de détecter une seule erreur. (®) — Enappliquant la régle de ta distance minimale relative au déchiffrage, reprendre le (c) du probléme 8.38. (@) _D’apres le(b) du probleme 8.38, les vecteurs-codes et leurs poids de Hamming ont les valeurs listées dans le ubleay 8-17, ‘Tableau 8-17 ' Pos de Hang 0000 4) 0 01110} 3 leoe at] 3 eee 4 elo 01 1 4 eal o 10 0 1) 3 ell 1 0 1 0 oO} 3 eft 1101 oO} 4 Comme dn st le plus petit poids de Hamming des vecteurs non nuls du code, dig = 3. On a done, selon la relation (8.71) rin putt relation satisfuite pour t = 1, On en déduit que ce code ne sat corriger qu'une seule eeu. @)—Levecteur regu rapour valeur: [010 11 1), Selon la relation (8.69), il vient d(ee) = 4 dieses) =2 direx) =3 dines) =5 dines) = 1 deeen) =3 d(eyeq) = 2 d(eseg) = 4 Ladistance minimale entre les vecteurs du code et le vecteurtesu a pour valeur dirses) =1 ‘On en conelut done que le veeteur es résultatétantidentque au (c) du probleme 8.38, (0.1001 1] a6téemis et que les bits de données étafent «010», ce1) cars) ale au lignes o ® © ® obleme sos dans ne, selon o «010», ce INFORMATION ET CODAGE 309 851 Onconsidere un (7,4) code linéaire par blocs dont la matrice de contrdle de parité a pour expression 1o1110 09 [prororal o11ioo4 Conse les mots de ce (7.4) code Moncer qu'il ‘agit d'un code de Hamming. IMlusirer la relation entre distance minimale et structure de la matrice de contrGle de parité H en étudiant le cas du mot codé 0101100. raps les relations (8.60) (8. la matrce génératrice G de ce code a pour expression rooo1rto) ie||(0) eo) On Ole “=loor0o10t ooortti Puisgue & = 4, ilexiste 2* = 16 mots distincts duns ce code. A chaque valeur de donnée correspond un mot codé, que Ion abtient au moyen de la relation (8.57); le tableau 8-18 en donne la liste eaten 009 | onion 7 001 count | 4 coo | omnia ; oor — | ooo | 3 om | oraon 3 ovo oxo1100 3 ono | oni ‘ aint arc ‘ reo | econo 3 iat |p a 3 in| toot ‘ ror | to11100 4 tio | ttor01 ‘ no | too ‘ iaiog lp no ; in| tian 7 Letableau 8-18 donne auss la liste des poids de Hamming de l'ensemble des mots du code. Comme le poids ‘minimal des mots non nuls a pour valeur 3, on en déduit que dig = 3. La relation (8.7) nous permet done de die que ce code est capable de cotrger une seule erreur de transmission. ‘Comme nous avons n = Tet k = 4,0n a zn 8 E()=()+( eres LLézalitse produit la limite de Hamming —relation (8,67) et agit one bien d'un code de Hamming.310 852, 8.54, 855. INFORMATION ET CODAGE [ouar 8 (©) Pourle vecteure=[0 10 1 1 00}, a multiplication matricielle de la relation (8.70) nous conduit & remarquer {que la somme modulo 2 de la deuxidme, la quaridme et la cinguidme ligne de H est égale au vecteur nul 0 1 Het t Net o g=(0 0 9 Uneateu identique porsant sr es 14 autres veeteurs non nls indique que le plu petit nombre de lignes de HT dont la sorame est égale 0 a pour valeur 3, qui est égal & dn (tn6oréme 8.2), Problémes supplémentaires On considése une source X qui produit eng symboles avee des probabiltés 4.4.4, et gg. Déerminer entropic de source H(X), Réponse: 1,875 b/symbole Calculer information moyenne contenue dans Ia langue francaise, en supposant que les 26 lettres de alphabet ont des probabilits occurrence identiques. Réponse: 4,7 blcaractére as Ys a7 Fig. 815 (a) Trowverla matric définssant le canal obtenu. () —Caleuler P (zi) et P(zz) dans le cas od P(x) = 0,6 et PC) = 0,4 Réponse fa [08 938 Lose 0.62, @®) Pla) = 0,524 Pea) = 0,476 (On considére le canal diseret sans mémoire représemté sur la figure 8-16. (a) Calculer ls probbilits en soe lorsque PGi) = fet Pz (@)—CaleaerPentopi de soi 1). Réponses : (a) P(y)) = 7/24, P(y2) = 17/48 et P(y3) = 17/48 (18 bsymbote 85 857 858 8.59, 8.60.HAPS arquer urnul pres de entropic ‘cHAPS) INFORMATION ET CODAGE 311 856. 858, 859. 8.60. Fig. 8:16 Démontrer la relation (8.32), 'est-ire 16: Y) = HO) + HY) — A(X) Indication : Usliser ls relations (6.28) et (8.26) Monier que H(X.Y) < H(X) + (7), Mégalié n'ayantHiew que si, et seulement si X et ¥ sont indépendants Incation: Usilisee les relations (8.30) et (8.32). ‘Montes que, pour un canal déterministe HOD) =0 Indication: Uilisr ta relation (8.24) en remarquant que, dans le cas d’un canal dsterministe, P(yi}x1) ne prend aque deux valeurs, 100 0, On considére un canal dnt le signal dentsée est X et le signal de sortie. Montrerque si X et Y sont statistiquement indépendants alors H(X|¥) = HX) et I(X;Y) = 0. Indication ; Tenir compte des relations (5.48) et (5.49) dans les relations (8.24) et (8.28) (On définit un canal de transmission au moyen dela matriceci-aprés. (@) Donner un schéma de ce cana. (©) Calculer I capacité de ce canal Réponse: (a) voir igure 8-17 Fig. 8:17 () 1 bisymbote312 861. 8.62. 8.63. 8.64. 8.65. 8.66. 8.67. INFORMATION ET CODAGE [CHAR 8 Soit X une variable algatoire de densité de probabilité fx (x) ct soit Y = aX 4-b,a et tant des constants. Calculer HAY yen fonction de HC) H(X) + log a Réponse: HY) ‘ouver entropic différeniele H(X) "une variable alétoire gaussienne X de mayenne nulle et de variance Réponse: H(X) = Jloss(2xe03) On consider un canal de wansmission affect d'un BGA (brut bane gaussien adit te que din par areaton (846), 8 savoir y=X4n (8X et sont eespecivement ls signaux d’entée et de sontie du canal, n étant un BBGA de moyenne nall et de variance 02. Evaluer I'information mutuelle moyenne (XY) lorsque le signal dente est vi aussi gaussen,& moyenne mile et de variance 9 ses WY) = yim (+22) Calculer la eapacié d'un canal affecté d'un BBGA, dont Ia bande passante est de IMHz et dont le rapport signal sur bruit vaut 40 dB Réponse : 13,29 Mbis ‘On considére une source diseréte produisant mr symboles équiprobables x),i = 1,2... (©) Montrerque utilisation d'un code de longueur fixes la solution a plusefficace pour représenter ensemble tub (®) Solty ta longucur des mots de ce code. Monteer que si my — logs my ‘elficacté du cade est de 100%, Indication : Usiliser les olations (8.49) et (8.32). CConstrure un code de Huftinan pour la source diseréte sans mémoire du probléme 8.32 et montrer qu'il est optimal Réponse Symboks: x) ay Code o 1 Mo at Une source diseréte sans mémoire produit cing symboles xj.x2.23.x4 6t x5 avec les probabilités respectives 0.2, 0,15, 0,05, 0,1 e105. (@) —Construre un code de Shannon-Fano pour X et calculer Ie icacité de ee code. (®) —Reprendre la question (a) avec un code de Hutt Réponse Symbols! x) 2s Code lo lo too Efficacité du code : 9 = 98.6% @ Symbols: x) 2 aka as Code 11 100 10111010 icacité du code : 9 ~ 986% 6 “Monirer que les codes du probleme 8.33 stistont a lingpalité de Kraft. Indication : Appliquer la relation (8.5), = CHAE 8:69. 8.70, ar. 8.72, 8273. 8.74, 8.78,HAPS euler elation eet de sien, 2 a signal semble 00%, optimal spectives cua) INFORMATION ET CODAGE 313 8.69, 870, 871, 37. 87, 874, 875, (On consdese un (6,3) code linéaire par blocs dont la matrice de contrdle de paité H a pour expression on H=lo11 ia (Quelle est la mattice génératrice G de ce code? (©) Queleste mot code dont le groupe données est 101 @ Enseplazant dans le contexte du codage de Hamming étié au probleme 8.51, déchiffer le mot 0111100, Réponse: 0101 (On consdere un (nA) code par blocs linéaire de matrice génératrice G et de matrice de contre de parité H. Le (an ~ k) code engendré par AY est appelé code dual du (n,k) code. Montrer que la matrice G est la matrice de controle de parté du code dual Indication : Transposer matrciellement i elation (862). Monirer que tvs les vecteurs codes dun (n,k) codage linéaire par blocs sont orthogonaus aux vecteurs de son code ual (Je vectcurx est orthogonal au vecteur€ si xe = 0, oe? est le tansposé du vecteut ligne €). Indication : Uslisr la relation (8.62). (Quel est le code dual du (7,4) code de Hamming étudié dans le probleme 8.51? Trouver la distance minimale da de ce code dal Réponse (9000000 1110011101010 1010011 1011100 1100101 0110110 oot doin = 4 Unode comport les mots 1101000, 0111001, 0011010, 1001011, 1011100 et 0004 101. Si 'on regoit 1101011, ‘ue est le code quia i émis’? Réponse : 1001011 ‘Meter que pour tout (nk) code lingare par blocs ona la relation nin mk 1 Indication > Appliquer le théoreme 8.2 pour montrer que le ang de la matrice H est din ~ 1