You are on page 1of 34

´ Theorie de l’information et du codage

Mohamed BOULOUIRD
` ´ ´ ´ ´ Filiere Genie Reseaux & Telecommunications ´ Ecole Nationale des Sciences Appliquees ´ Universite Cadi Ayyad Marrakech

TIC (S7)

M. Boulouird - ENSAM - UCAM

Mardi 06 octobre 2009

1 / 27

` Chapitre 1: Systemes de communication
1 2 3

Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus

4

TIC (S7)

M. Boulouird - ENSAM - UCAM

Mardi 06 octobre 2009

2 / 27

` Chapitre 1: Systemes de communication
1 2 3

Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus

4

TIC (S7)

M. Boulouird - ENSAM - UCAM

Mardi 06 octobre 2009

2 / 27

UCAM Mardi 06 octobre 2009 2 / 27 .` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M. Boulouird .ENSAM .

UCAM Mardi 06 octobre 2009 2 / 27 . Boulouird .ENSAM .` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.

UCAM Mardi 06 octobre 2009 3 / 27 .Introduction ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.ENSAM . Boulouird .

ENSAM . ´ ´ ´ ´ ` La figure suivante presente le schema general d’un systeme de ´ ´ communication defini comme un dispositif physique realisant ´ ` l’acheminement d’un message d’une source (Expediteur) a un utilisateur (Destinataire). Boulouird .Introduction ´ Theorie des communications ´ ´ Une theorie qui s’interesse aux moyens de transmettre une ` information depuis une source jusqu’a un utilisateur. ´ ` Schema d’un systeme de communication TIC (S7) M.UCAM Mardi 06 octobre 2009 4 / 27 .

TIC (S7) M. . rayures.ENSAM .. le canal n’est pas examine du point de vue de sa realisation materielle ´ ` ´ On s’interesse a la quantite d’information qu’il peut transmettre (le canal) et aux ´ perturbations aleatoires (bruit) qu’il subit. Boulouird .UCAM Mardi 06 octobre 2009 5 / 27 . Il peut s’agir par exemple: d’une voix ´ ´ d’un signal electromagnetique ´ d’une sequence de symboles binaires (bits) Le canal ˆ Le canal peut-etre: ´ ´ ˆ une ligne telephonique (cable) une liaison radio (voie Hertzienne) un support optique (fibre optique) ´ ´ ´ Dans notre cas.Introduction ´ Les blocs du schema La source ˆ ` ´ La nature de la source peut-etre tres variee.. ´ Le bruit dependra de l’environnement et de la nature du canal: ´ Perturbations electriques.

. TIC (S7) M. Boulouird .. Il peut s’agir par exemple: d’une voix ´ ´ d’un signal electromagnetique ´ d’une sequence de symboles binaires (bits) Le canal ˆ Le canal peut-etre: ´ ´ ˆ une ligne telephonique (cable) une liaison radio (voie Hertzienne) un support optique (fibre optique) ´ ´ ´ Dans notre cas.ENSAM .UCAM Mardi 06 octobre 2009 5 / 27 . rayures. ´ Le bruit dependra de l’environnement et de la nature du canal: ´ Perturbations electriques. le canal n’est pas examine du point de vue de sa realisation materielle ´ ` ´ On s’interesse a la quantite d’information qu’il peut transmettre (le canal) et aux ´ perturbations aleatoires (bruit) qu’il subit. .Introduction ´ Les blocs du schema La source ˆ ` ´ La nature de la source peut-etre tres variee.

c’est-a-dire deja connu du destinataire. de restituer de facon ¸ acceptable l’information fournie par la source ´ ´ ´ ´ Parmis les operations effectuees par ce bloc: la demodulation.Introduction ´ Les blocs du schema Le codeur ´ ´ ´ Ce bloc represente l’ensemble des operations effectuees sur la sortie de la source avant la transmission ´ ˆ Ces operations peuvent etre: la modulation... Boulouird ... . . le decodage. Elles ont pour but de rendre la sortie de la source compatible avec le canal ´ Le decodeur ´ ˆ ` Le decodeur devra etre capable.UCAM Mardi 06 octobre 2009 6 / 27 . L’utilisateur ´ ´ L’utilisateur est le dernier element de la chaˆne qui va reconstituer et exploiter le message ı ˆ ´ ´ ` Le message recu ne peut etre caracterise que de maniere probabiliste: Un message ¸ ` ´ ` ˆ certain. a partir de la sortie du canal. n’a en effet pas besoin d’etre transmis. TIC (S7) M.ENSAM . l’ajout d’une redondance pour combattre les effets du bruit. la compression.

la compression.. de restituer de facon ¸ acceptable l’information fournie par la source ´ ´ ´ ´ Parmis les operations effectuees par ce bloc: la demodulation. c’est-a-dire deja connu du destinataire.UCAM Mardi 06 octobre 2009 6 / 27 . Boulouird . . le decodage. . L’utilisateur ´ ´ L’utilisateur est le dernier element de la chaˆne qui va reconstituer et exploiter le message ı ˆ ´ ´ ` Le message recu ne peut etre caracterise que de maniere probabiliste: Un message ¸ ` ´ ` ˆ certain...Introduction ´ Les blocs du schema Le codeur ´ ´ ´ Ce bloc represente l’ensemble des operations effectuees sur la sortie de la source avant la transmission ´ ˆ Ces operations peuvent etre: la modulation.ENSAM . n’a en effet pas besoin d’etre transmis.. Elles ont pour but de rendre la sortie de la source compatible avec le canal ´ Le decodeur ´ ˆ ` Le decodeur devra etre capable. TIC (S7) M. a partir de la sortie du canal. l’ajout d’une redondance pour combattre les effets du bruit.

. la compression. n’a en effet pas besoin d’etre transmis... TIC (S7) M.. Boulouird . c’est-a-dire deja connu du destinataire. de restituer de facon ¸ acceptable l’information fournie par la source ´ ´ ´ ´ Parmis les operations effectuees par ce bloc: la demodulation. l’ajout d’une redondance pour combattre les effets du bruit.ENSAM .. Elles ont pour but de rendre la sortie de la source compatible avec le canal ´ Le decodeur ´ ˆ ` Le decodeur devra etre capable. le decodage.UCAM Mardi 06 octobre 2009 6 / 27 . a partir de la sortie du canal.Introduction ´ Les blocs du schema Le codeur ´ ´ ´ Ce bloc represente l’ensemble des operations effectuees sur la sortie de la source avant la transmission ´ ˆ Ces operations peuvent etre: la modulation. . L’utilisateur ´ ´ L’utilisateur est le dernier element de la chaˆne qui va reconstituer et exploiter le message ı ˆ ´ ´ ` Le message recu ne peut etre caracterise que de maniere probabiliste: Un message ¸ ` ´ ` ˆ certain.

ENSAM .Histoire du TIC ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.UCAM Mardi 06 octobre 2009 7 / 27 . Boulouird .

Histoire du TIC Shannon 1948 ´ ´ ´ C’est une theorie mathematique qui decrit les aspects les plus ` fondamentaux des systemes de communication ´ ´ ´ ´ ´ Elle a ete developpee par C. nous etudierons ´ ´ ` ` ´ separement les modeles de sources et les modeles de canaux =⇒ Cette separation ´ nous permettra de traiter independamment la source et le canal et n’implique aucune ` limitation sur les performances du systeme. Shannon dans un article intitule: ´ “A Mathematical theory of communication” publie en 1948 ´ ´ ` ` ´ ` Cette theorie s’interesse a la construction et a l’etude de modeles ´ ` ´ mathematiques.ENSAM . Boulouird . a l’aide essentiellement de la theorie des ´ probabilites. E. qui permettent la mesure quantitative de cette notion abstraite d’information ´ Cette theorie est devenue aujourd’hui incontournable dans la ` conception de tout systeme de communication ´ ` ´ Dans le but de simplifier l’etude des systemes de communication.UCAM Mardi 06 octobre 2009 8 / 27 . TIC (S7) M.

UCAM Mardi 06 octobre 2009 9 / 27 .ENSAM . Boulouird .Sources ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.

UCAM Mardi 06 octobre 2009 10 / 27 . Boulouird .ENSAM .Sources ´ Definition ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.

la source d’information d’un systeme de ` communication produit des messages de caractere discret ou analogique ` Modeles de sources ` ˆ ´ Plusieurs modeles de sources peuvent etre envisages: ` ´ Sources discretes sans memoire ` ´ Sources discretes avec memoire Sources analogiques TIC (S7) M.UCAM Mardi 06 octobre 2009 11 / 27 .ENSAM .Sources ´ Definition ´ ` Definition et modeles ´ Definition ´ ´ Une source d’information est un objet qui produit un evenement ´ ´ ´ ´ dont le resultat aleatoire depend d’une loi de repartition probabiliste ` En pratique. Boulouird .

Sources ´ Definition ´ ` Definition et modeles ´ Definition ´ ´ Une source d’information est un objet qui produit un evenement ´ ´ ´ ´ dont le resultat aleatoire depend d’une loi de repartition probabiliste ` En pratique. la source d’information d’un systeme de ` communication produit des messages de caractere discret ou analogique ` Modeles de sources ` ˆ ´ Plusieurs modeles de sources peuvent etre envisages: ` ´ Sources discretes sans memoire ` ´ Sources discretes avec memoire Sources analogiques TIC (S7) M. Boulouird .ENSAM .UCAM Mardi 06 octobre 2009 11 / 27 .

ENSAM . Boulouird .UCAM Mardi 06 octobre 2009 12 / 27 .Sources SDSM ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.

¸ TIC (S7) M. · · · .UCAM Mardi 06 octobre 2009 13 / 27 . de la source. 1 ≤ k ≤ K . nous avons donc K P(ak ) = 1 k=1 ´ ´ ` Il peut sembler etonnant de modeliser une source d’information a ´ l’aide d’un processus aleatoire.Sources SDSM Structure de la SDSM ` ´ ´ La sortie d’une source discrete sans memoire est une sequence ´ de lettres tirees dans un alphabet fini {a1 .ENSAM . Boulouird . P(aK ). · · · . L’exemple suivant nous montre toutefois que l’utilisation des ´ probabilites est indispensable pour coder une information de facon compacte. aK }. P(ak ) est la ´ probabilite pour que cette lettre soit produite. Pour toute lettre ak . ´ ´ Chaque lettre de la sequence est statistiquement independante ` ´ des autres et obtenue d’apres une loi de probabilite fixe P(a1 ).

Supposons que le codage transforme cette information en symboles binaires. a3 et a4 . Boulouird . nous ´ ` donnons deux codages differents de cette source.ENSAM . ´ Methode 1 00 01 10 11 ´ Methode 2 0 10 110 111 a1 a2 a3 a4 TIC (S7) M. Dans le tableau suivant.UCAM Mardi 06 octobre 2009 14 / 27 . alors que dans la seconde le nombre de symboles est variable. Dans la premiere ´ ´ ´ ´ methode. deux symboles binaires sont generes pour chaque lettre ´ emise. a2 .Sources SDSM Exemple Soit une source qui fournit comme information l’une des quatres lettres a1 .

ENSAM . 2 P(a2 ) = 1 . ´ Elle est dans ce cas la plus economique. 75. Boulouird . 4 P(a3 ) = P(a4 ) = 1 8 ´ ´ alors la methode 1 necessite toujours 2 symboles binaires par ´ ´ lettre en moyenne alors que la methode 2 ne necessite que 1. TIC (S7) M. Conclusion Il est donc important pour coder une source de connaˆtre son ı comportement statistique. alors la premiere ´ methode est la meilleure: Deux symboles par lettre en moyenne au lieu de 2.UCAM Mardi 06 octobre 2009 15 / 27 .Sources SDSM Exemple(suite) ´ ` Si les quatre lettres sont equiprobables.25 Si l’on a: P(a1 ) = 1 .

ENSAM .Sources SDS ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.UCAM Mardi 06 octobre 2009 16 / 27 . Boulouird .

· · · .UCAM Mardi 06 octobre 2009 17 / 27 .ENSAM . aK } = A ont la meme loi de ´ probabilite.Sources SDS ´ Definition Une source est stationnaire si et seulement si toutes les variables ´ ` ˆ aleatoires a valeurs dans {a1 . Une source stationnaire est une source dont le fonctionnement est ´ ´ independant de l’origine du temps. ∀τ TIC (S7) M. autrement dit les probabilites ´ d’apparition de chaque symbole est independant du temps: P(akt ) = P(akt+τ ). Boulouird .

Boulouird .UCAM Mardi 06 octobre 2009 18 / 27 .Sources SC ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.ENSAM .

ou les sources non discretes. La sortie de cette source sera une fonction continue du temps.Sources SC ` Les sources continues. ont une grande importance pour les applications.ENSAM . Boulouird . une tension. par ´ exemple. ˆ ´ ` La fonction continue devra etre decrite le plus fidelement possible ´ ´ ´ ´ par la sequence binaire generee par le codeur de source.UCAM Mardi 06 octobre 2009 19 / 27 . qu’il faut coder en une sequence binaire. TIC (S7) M.

Canaux de communication ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.UCAM Mardi 06 octobre 2009 20 / 27 .ENSAM . Boulouird .

Canaux de communication Canaux discrets ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.UCAM Mardi 06 octobre 2009 21 / 27 . Boulouird .ENSAM .

bJ }. ´ La sortie est une lettre d’un autre alphabet fini. aK }.Canaux de communication Canaux discrets ´ Canal discret et canal discret sans memoire ´ Pour modeliser correctement un canal de transmission. TIC (S7) M.ENSAM . {b1 . et pour que le canal soit sans ´ ´ memoire. ´ Le cas le plus simple est celui d’un canal discret sans memoire: ´ L’entree est une lettre d’un alphabet fini {a1 .UCAM Mardi 06 octobre 2009 22 / 27 . ´ ´ Les lettres sont emises en sequence. il faut que chaque lettre de la sequence recue ne ¸ ´ ´ ˆ depende statistiquement que de la lettre emise de meme position. · · · . Boulouird . pour tout ak dans ´ l’alphabet d’entree et tout bj dans l’alphabet de sortie. ´ ` ´ Un canal discret sans memoire est entierement decrit par la ´ ´ donnee des probabilites conditionnelles P(bj /ak ). il est ´ ´ ´ necessaire de specifier l’ensemble des entrees et l’ensemble des sorties possibles. · · · . eventuellement identique.

Canaux de communication Canaux discrets Exemple ´ ´ Le canal binaire symetrique est un canal discret sans memoire.ENSAM . TIC (S7) M. et la ´ ´ ´ probabilite pour qu’il soit transforme en son oppose est p.UCAM Mardi 06 octobre 2009 23 / 27 . Boulouird . ´ ´ dont l’alphabet d’entree et l’alphabet de sortie sont egaux tous les ` deux a {0. 1}. ´ Canal binaire symetrique ´ ´ La probabilite pour qu’un symbole soit inchange est 1 − p.

Boulouird .UCAM Mardi 06 octobre 2009 24 / 27 .Canaux de communication ` ´ Canaux discrets a memoire ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.ENSAM .

chaque lettre de la sequence de sortie peut dependre de ´ ´ plusieurs lettres de la sequence d’entree. Boulouird .ENSAM .UCAM Mardi 06 octobre 2009 25 / 27 . TIC (S7) M.Canaux de communication ` ´ Canaux discrets a memoire ´ ´ Dans ce cas.

Canaux de communication Canaux continus ` Chapitre 1: Systemes de communication 1 2 3 Introduction ´ Histoire de la theorie de l’information et du codage Sources de l’information ´ Definition ` ´ Sources discretes sans memoire ` Sources discretes stationnaires Sources continues Canaux de communication Canaux discrets ` ´ Canaux discrets a memoire Canaux continus 4 TIC (S7) M.UCAM Mardi 06 octobre 2009 26 / 27 . Boulouird .ENSAM .

´ Modulateur de donnees digitales (MDD). ´ L’entree et la sortie de ce type de canaux sont des fonctions continues du temps.ENSAM . Boulouird .UCAM Mardi 06 octobre 2009 27 / 27 .Canaux de communication Canaux continus Ils sont plus proches des canaux physiques. ´ Pour les canaux de cette classe. il est possible de separer le ´ codeur et le decodeur en deux parties: Codeur de canal discret. TIC (S7) M.