Cours 1 2 3 4 Chapitre1 L'information Et Le Codage 2023

Polycopié du cours : Codage et Théorie de l’information,
3ième Licence, Télécom, ST

Chapitre I : L’information et le codage
Préparé par : Mr Abdenour Hacine Gharbi, enseignant à l’université de Bordj Bou Arréridj
Contenu des Cours 1, 2, 3 et 4:

Principes d’une chaîne de transmission numérique. Rappels sur les probabilités et les variables aléatoires.
Notion de quantité d’information, mesure de l’information, information mutuelle, entropie et applications.
Codage et Théorie de l’information Chapitre I : L’information et le codage A. Nour Hacine Gharbi
-------------------------------------------------------------------------------------------------------------------------------
Chapitre I : L’information et le codage
1. INTRODUCTION
La théorie de l’information a été introduite dans le contexte de la théorie de télécommunications par C.S
Shannon, depuis la publication de son article scientifique ’A mathematical theory of communications’ en
1948. C.S Shannon se fonde sur la théorie des probabilités pour décrire le nouveau concept de la quantité
d’information ainsi que les modèles de la source d’information et du canal de communication.
La théorie de l’information a pour objectif de mesurer théoriquement la quantité d’information contenue
dans un signal porteur d’un message et d’évaluer la capacité d’un système de communications à
l’acheminement de cette information entre la source et le destinataire.
Cependant, la théorie d’information peut être appliquée dans plusieurs domaines tels que : la physique
(thermodynamique, optique,…), l’informatique (théorie des langages formels), la biologie (génétique,
neurophysiologie), la sociologie, l’économie (gestion de portefeuille), la reconnaissance de formes, la
biométrie, le biomédical.
2. PRINCIPE D’UNE CHAINE DE TRANSMISSION NUMERIQUE
Dans la théorie de communications, la théorie de l’information est liée aux propriétés statistiques des
messages à transmettre sur un canal de transmission. Elle fournit ainsi un ensemble de concepts dans le but
d’évaluer les performances du système de communications malgré la contamination du signal porteur des
messages par du bruit. La théorie de l’information fournit également un ensemble de règles de représentation
de messages pour éliminer toute redondance inutile (codage de source) et pour sécuriser la transmission du
message sur un canal bruité en ajoutant une redondance (codage du canal).
La figure (I.1) illustre le principe d’une chaine de transmission numérique.
Emetteur
Source
Codage de Codage de Modulation
d’information
source canal + Etage RF
(numérique)
transmission
Canal de
Bruit
Décodage de Décodage de Démodulation

Destinataire
source canal + Etage RF
Récepteur
Figure. I.1: Principe d’une chaine de transmission numérique
1
-------------------------------------------------------------------------------------------------------------------------------
Le rôle d’un système de communication numérique est de transmettre un message émis par une source
numérique (discrète) vers le destinataire à travers un canal de transmission avec la plus grande fiabilité.
La transmission numérique exige que le message à transmettre doit être de type numérique. Si la source
est analogique, alors le signal de sortie de la source (exemple de signal vocal) doit subir une opération de
numérisation (échantillonnage et quantification).
Le codage de source consiste à éliminer la redondance d’information pour fournir une représentation plus
compacte au message.
Le codage de canal consiste à ajouter des bits dans le message codé pour la détection et la correction des
erreurs de transmission du message sur un canal bruité.
2.1. SOURCE D’INFORMATION
Une source d’information est un dispositif qui génère un événement de manière aléatoire. Plus
particulièrement, une source d’information d’un système de communications génère des messages de type
analogique ou discret. Une source discrète génère aléatoirement une séquence de symboles (où lettre) issus
d’un ensemble discret fini appelé l’alphabet de la source.
Une source est dite « avec mémoire, si le symbole courant qu’elle génère dépend du symbole précédent.
Si le symbole courant est indépendant du symbole précédent, alors la source est dite ‘’ sans mémoire’’.
Cette source se caractérise par un alphabet (l’ensemble des symboles) et la probabilité de génération de
chaque symbole ainsi que par le débit de génération de ces symboles.
Dans ce cours, on s’intéresse au type de Source Discrète Sans Mémoire ‘SDSM’.
2.2. CANAL DE TRANSMISSION
Un canal de communication est un support de transmission qui constitue le lien entre l’émetteur et le
récepteur d’un système de communication. Il constitue la voie sur laquelle le message (séquence de
symboles) transite vers le récepteur. Il peut s’agir d’un câble coaxial, ondes hertziennes ou fibre optique.
La modélisation d’un canal de communication sera détaillée dans le chapitre 3.
3. RAPPELS SUR LES PROBABILITES
La théorie de l’information est fondée sur la théorie des probabilités. Ainsi, cette section a pour objectif
de donner un rappel sur les probabilités.
3.1. DEFINITIONS
3.1.1. Expérience aléatoire

Une expérience est dite aléatoire si son résultat n’est pas prévisible. Le résultat du jet du dé est un
exemple d’une expérience aléatoire.
2
-------------------------------------------------------------------------------------------------------------------------------
3.1.2. Espace et événement :
L’espace des solutions ou des réalisations (appelé également l’univers) est l’ensemble des résultats
possibles d’une d’expérience aléatoire. On note cet espace par Ω. Un résultat possible est appelé un élément
noté par .
Un événement est défini comme un sous ensemble de l’espace Ω: ⊂ Ω. Si est constitué d’un seul
élément de Ω, alors cet événement est appelé événement élémentaire.
L’évènement  (aucun élément) correspond un événement impossible.
Deux événements et sont disjoints (en mutuelle exclusion) si ∩ .
Selon l’algèbre des évènements, on peut citer les identités suivantes :
- ∩ ̅ , ∪ ̅ Ω, ̿ , ou ̅ est le complément de .
- Ω∩A A, Ω∪ Ω.
- Ω ,  Ω
On dit qu’une partie , ,…. (l’événement est un sous ensemble de l’espace Ω) forme
un système complet d’événements si:
∪ ∪ ∪ …∪ Ω ∩  ∀ .1
Egalement, les événements de cette partie sont dits en exclusion mutuelle et exhaustifs.
3.2. PROBABILITES
La probabilité est une fonction qui associe à un événement un nombre réel noté de telle façon à
satisfaire les trois axiomes :
- 0
- Ω 1
- ∪ si et sont disjoints.
La probabilité de l’union de deux événements quelconques et est donnée par :
∪ ∩ .
3.2.1. Probabilités conditionnelles
Considérons deux événements et . La probabilité conditionnelle de l’événement sachant que
l’événement est réalisé, est définie par:
∩
\ avec 0 .2
Où ∩ est la probabilité conjointe de et .

De la même façon, la probabilité de l’événement sanchant que l’événement est réalisé, est donnée
par :
∩
\ avec 0 .3
3
-------------------------------------------------------------------------------------------------------------------------------
A partir des équations (I.2) et (I.3), on a :
∩ \ \ .4
A partir de l’équation(I.4), on obtient la règle de Bayes :
\
\ avec 0 .5
3.2.2. Evénements indépendants

On dit qu’un événement et statistiquement indépendant d’un événement si :
\ et \ .6
La probabilité conjointe de deux événements indépendants et peut être obtenue à partir des équations
(I.4) et (I.6):
∩ .7
La notion de l’indépendance statistique peut être étendue à plusieurs événements.
Soient N événements ( , ,…. . On dit que ces événements sont mutuellement indépendants si,
pour un sous ensemble quelconque ( , ,…. , 2 de ces événements, la condition suivante
est vérifiée:
∩ ∩, … ,∩ … .8
3.2.3. Théorème des probabilités totales
Soit , ,…. un système complet d’événement, et soit un événement quelconque de
l’espace Ω.
Le théorème des probabilités totales de l’événement est donné comme suit:
∩ \ 1.9
On peut déduire à partir des équations (I.9) et (I.5), la probabilité conditionnelle \ :

\
\ 1.10
∑ \
L’équation (I.10) est appelée théorème de Bayes.
3.2.4. Evénements équiprobables
Soit Ω un espace de M éléments fini : Ω , ,…, .
Soit la probabilité de l’événement élémentaire i 1,2, … , .
Les événements élémentaires sont dits équiprobables si :
⋯. . 11
Les événements élémentaires sont disjoints, donc on obtient :
Ω ∪ ∪, … ,∪
4
-------------------------------------------------------------------------------------------------------------------------------
1 puisque Ω 1 . 12
A partir de (I.11) et (I.12), on peut déduire que la probabilité est égale à :

1
, 1, … , . 13
3.3. VARIABLES ALEATOIRES
Une variable aléatoire est une fonction réelle qui associe à chaque événement élémentaire de Ω un
nombre réel .
:Ω →
→
La variable aléatoire est notée généralement par v.a. pour la raison de commodité.
L’espace d’éléments de Ω est appelé le domaine de la v.a. . L’ensemble de toutes les valeurs de
est appelé l’intervalle ou le support de la v.a. , noté par .
Si le support est un ensemble de nombres réels fini ou dénombrable, alors la v.a. est dite discrète.
Si ce support est l’ensemble de toutes les valeurs réelles comprises dans un ou plusieurs intervalles, alors la
v.a. est dite continue.
La probabilité d’une v.a est liée à la probabilité des événements associés. Elle est estimée comme suit :
:
:
:
3.3.1. Fonction de répartition
La fonction de répartition (appelée également fonction cumulative) d’une v.a. est définie par :
pour ∞ ∞ . 14
La fonction satisfait à l’inégalité suivante :
0 1 . 15
3.3.2. Fonction de probabilité d’une v.a discrète
Une v.a. discrète est définie généralement par son support et l’ensemble des probabilités
associées avce ∈ .
. 16
La fonction de probabilité est appelée loi de probabilité (ou fonction de masse) de la
v.a . Cette fonction satisfait à la condition suivante :
5
-------------------------------------------------------------------------------------------------------------------------------
1 . 17
3.3.3. Fonction de densité de probabilité d’une v.a continue

Une v.a continue est définie généralement par son support continu et par sa fonction de densité de
probabilité définie comme suit :
La fonction a des propriétés telles que :

0 . 18
1 . 19
. 20
3.3.4. Fonction de probabilité conjointe de variables aléatoire discrètes

La fonction de probabilité conjointe d’un couple de variables aléatoires discrètes ( , est définie
comme suit :
, , . 21
Avec ∑ ∑ , 1 . 22
3.3.5. Fonction de probabilité marginale de variables aléatoires discrètes
Les fonctions de probabilité marginales et sont obtenues à partir de la fonction de
probabilité conjointe comme suit :
, . 23
, . 24
Si , sont des v.a indépendantes, alors :

, . 25
3.3.6. Fonction de densité de probabilité conjointe de variables aléatoires continues
La fonction de répartition conjointe , des variables , est définie par :
, , . 26
La fonction de probabilité conjointe d’un couple de variables aléatoires continues ( , est définie
comme suit :
,
, . 27
Avec :
6
-------------------------------------------------------------------------------------------------------------------------------
, 1 . 28
3.3.7. Fonction de densité de probabilité marginale de variables aléatoires continues

Les fonctions de densités de probabilité marginales et sont obtenues comme suit :
, . 29
, . 30
Si , sont des v.a indépendantes, alors :

, . 31
La fonction de densité de probabilité conditionnelle de sachant est donnée par :
,
\ \ . 32
3.4. ESPERANCE ET VARIANCE
Généralement une v.a se caractérise par son espérance mathématique (moyenne statistique) et sa
variance . Les définitions de ces paramètres statistiques dépendent du type de la v.a (discret ou
continu).
3.4.1. Espérance et variance d’une variable discrète
Soit une v.a. discrète ayant une fonction de probabilité .
L’espérance mathématique ou la moyenne statistique de la v.a discrète , notée par ou est
définie comme suit :
. 33
La variance de la v.a discrète , notée par ou est définie comme suit :
. 34
3.4.2. Espérance et variance d’une variable continue

Soit une v.a. continue ayant une fonction de densité de probabilité .
L’espérance mathématique ou la moyenne statistique de la v.a continue , est définie comme suit :
. 35
La variance de la v.a continue est définie comme suit :
7
-------------------------------------------------------------------------------------------------------------------------------
. 36
La variance est une mesure statistique du degré de dispersion des valeurs de autour de sa moyenne .
Le paramètre statistique appelé Ecart type de la variable est donné par :
. 37
Les principales propriétés de l’espérance mathématique des variables aléatoires (type discret ou continu)
sont :
où et sont deux variables aléatoires (I.38)
où a est une constante (I.39)
La principale propriété de la variance est:
. 40
Où est l’espérance mathématique de , appelée également le moment d’ordre 2. est
. 41
3.5. COVARIANCE ET COEFFICIENT DE CORRELATION
La covariance de deux variables aléatoires et , notée , est définie par :

, . 42
L’équation (I.42) peut être simplifiée comme suit :
, . 43
Si , 0, alors les variables et sont non corrélées (décorrélées).
Le coefficient de corrélation, noté par , est une mésure de dépendance statistique linéaire
(corrélation) entre deux variables aléatoires et .ce coefficient noté également par , est défini comme
suit :
,
, . 44
Le coefficient de corrélation varie entre -1 et 1 :

| | 1 1 1 1.45
Si deux variables aléatoires et sont indépendantes, alors 0. En revanche, si 0, alors on
dit que les deux variables sont non corrélées. Cette condition n’implique pas obligatoirement l’indépendance
des variables aléatoires.
8
-------------------------------------------------------------------------------------------------------------------------------
3.6. LOIS DE PROBABILITES
Plusieurs lois de probabilités sont couramment utilisées dans des applications de communications telles
que la transmission de données binaires, le comptage d’événements (appels téléphoniques). Les principales
lois de probabilités utilisées sont : la loi Binomiale, la loi de Poisson et la loi normale (Gauss).
3.6.1. Loi Binomial
La fonction de probabilité d’une variable aléatoire discrète de loi binomiale, définie par les paramètres
et est donnée comme suit :
1 0,1, … , . 46
Où 0 1 et appelé coefficient binomial est donné par :

!
. 47
! !
La moyenne et la variance d’une v.a de loi binomiale sont données somme suit ;
, 1 . 48
3.6.2. Loi de poisson
La fonction de probabilité d’une variable aléatoire discrète de loi de Poisson, définie par le paramètre
0 est donnée comme suit :
0,1, … , . 49
!
La moyenne et la variance d’une v.a de loi de Poisson sont données somme suit ;
, . 50
3.6.3. Loi normale (de Gauss)
La fonction de densité de probabilité d’une variable aléatoire de loi normale (ou Gauss) , , est
1
. 51
√2
La moyenne et la variance d’une v.a de loi normale sont données comme suit :
, . 52
4. NOTION DE QUANTITE D’INFORMATION
Le concept de la quantité d’information générée par une source d’information a été décrit initialement par
C.S Shannon en 1948. Ce concept se base essentiellement sur la modélisation de la quantité d’information
d’un événement aléatoire par une fonction de probabilité. Ce concept doit satisfaire aux axiomes suivants :
- La quantité d’information doit être proportionnelle au degré de l’incertitude de l’événement. Si
l’événement est certain (sa probabilité égale à 1), alors sa réalisation n’apporte aucune information.
9
-------------------------------------------------------------------------------------------------------------------------------
- La quantité d’information issue d’événements indépendants est la somme de leurs quantités
d’information.
Considérons une source d’information discrète sans mémoire (SDSM), notée qui possède un alphabet
, ,…, . Cette source peut être considérée comme une variable aléatoire d’un alphabet et
d’une fonction de probabilité avec 1,2, … , , où est la probabilité d’occurrence du
symbole .
La quantité (ou le contenu) de l’information d’un symbole , notée par est définie par :
1
log log . 53
Cette quantité doit satisfaire aux axiomes cités en dessus :

0 . 54
1, 0 . 55
, . 56
sont indépendants, alors , (I.57)
L’unité de mesure de dépend de la base b du logarithme utilisée. L’unité est bit (binary unit) si b=2
ou decit (decimal unit) si b=10 et nat (natural unit) si b=e. Le changement d’unité de mesure peut se faire en
utilisant la formule suivante :
. 58
Cependant, donne seulement le contenu informatif du symbole . Dans les systèmes de
communication, on s’intéresse par la quantité d’information moyenne de la source qui peut être exprimée
par la moyenne statistique de de l’alphabet , ,…, de la source :
log bit/symbole . 59
est appelé l’entropie de la source .

Le débit d’information d’une source d’information, noté est défini par :
/ . 60
Où le est le débit temporel de la source d’information. Le débit représente le nombre de symboles
émis par seconde.
Exemple (I.1) : Soit une source de type SDSM d’un alphabet de m symboles équiprobables.
- L’entropie de cette source est donnée comme suit :
log
10
-------------------------------------------------------------------------------------------------------------------------------
Puisque les symboles générés par la source sont équiprobables, alors , 1, … , (voir
l’équation (I.13). Ainsi, on obtient :
1 1
log
log m / . 61
Si cette source est binaire (m=2), alors
log 2 1 / . 62
5. ENTROPIE ET INFORMATION MUTUELLE
L’entropie et l’information sont deux concepts utilisés en communications pour mesurer respectivement
la quantité d’information d’une source d’information et la capacité d’un canal de communication.
Théoriquement, on parle de l’entropie d’une variable aléatoire (ou des variables aléatoires) et de
l’information mutuelle entre deux variables aléatoires.
5.1. ENTROPIE (POUR VARIABLES ALEATOIRES DISCRETES)
L’entropie est la quantité d’information moyenne de la variable aléatoire . Elle permet de mesurer
l’incertitude moyenne de cette variable. Elle est couramment utilisée comme une mesure de distance.
Soit X une variable aléatoire discrète ayant une fonction de probabilité et définie sur un alphabet
.L’entropie de la variable discrète X est définie par (voir également l’équation (I. 59)):
log . 63
∈
Avec la convention 0 log 0 0.

On note généralement l'entropie à la base b par .
Remarque : Dans le domaine de communications, l’entropie d’une source d’information est mesurée
généralement en bit/symbole (quantité d’information moyenne par symbole).
La définition de l’entropie d’une seule variable aléatoire peut s’étendre à un couple de variables
aléatoires. On définit ainsi l’entropie conjointe , .
L’entropie conjointe , de deux variables aléatoires discrètes , ayant une fonction de probabilité
conjointe , est définie par:
, , log , . 64
∈ ∈
On définit également l’entropie conditionnelle \ d’une variable aléatoire X sachant que l’autre
variable aléatoire Y est donnée, comme :
11
-------------------------------------------------------------------------------------------------------------------------------
\ \ . 65
∈
\ \ log \ \
∈ ∈
, log \ \ . 66
∈ ∈
Une remarque importante est :

\ \
5.1.1. Propriétés de l’entropie (variables aléatoires discrètes)

Les propriétés de l’entropie sont comme suit :
- L’entropie est toujours positive : 0 . 67
- \ . 68
Avec égalité si et seulement si et sont indépendantes.
- La conversion de la valeur de l’entropie d’une base b en base a, peut se faire comme suit:
. 69
- ,…, ∑ , . 70
Avec égalité si et seulement si les variables sont indépendantes.
- L’entropie est bornée : log | | ,
où | | est le nombre d’éléments de l’alphabet ,
- \ , , \ , , 71
5.2. INFORMATION MUTUELLE
L’information mutuelle est une mesure de la quantité d’information partagée entre deux variables
aléatoires. Elle exprime également la réduction de l'incertitude d'une variable aléatoire due à la connaissance
d’une autre. Généralement elle est utilisée pour mesurer la dépendance statistique entre deux variables
aléatoires. Elle est couramment utilisée comme mesure de similarité.
Soient deux variables aléatoires discrètes et ayant une fonction de probabilité conjointe , , et
des fonctions de probabilité marginales (x) et . L’information mutuelle ; entre et est
définie par:
,
; , log . 72
.
∈ ∈
12
-------------------------------------------------------------------------------------------------------------------------------
Les différentes mesures , , , , \ , \ et ; peuvent être représentées sur
le diagramme de Venn illustré sur la figure (I.2).
H(X,Y)
H(Y\X) I(X;Y) H(X\Y)
H(Y)
H(X)
Figure. I.2 : Relation entre l’entropie et l’information mutuelle
Remarque : ; ; et ; .
5.2.1. Propriétés de l’information mutuelle
Les propriétés de l’information mutuelle sont comme suit:
- L’information mutuelle entre deux variables aléatoires et est positive:
; 0 . 73
Elle est nulle si et seulement si et sont indépendantes.
- ; \ \ , . 74
Exemple (1.2) : Soit et deux variables aléatoires discrètes dont la probabilité conjointe est donnée
dans le tableau suivant :
X
1 2
Y
2 1
1
5 10
1 3
2
5 10
Tab. I.1 : Probabilité conjointe ,
Les probabilités marginales peuvent être obtenues en appliquant les équations (I.23), (I.24) :
1 , 2 .
1 , 2 .
Les probabilités conditionnelles peuvent être obtenues en appliquant l’équation I(1.2) :

, ,
\ , \
Ainsi, on obtient :
13
-------------------------------------------------------------------------------------------------------------------------------
4 1 2 3
1\ 1 , 2\ 1 , 1\ 2 , 2\ 2
5 5 5 5
2 1 1 3
1\ 1 , 2\ 1 , 1\ 2 , 2\ 2
3 3 4 4
En appliquant les équations (I.63), (I,64), (I.66) et (I.72), on obtient :
0.971 , 1 , , 1.8464 , ; 0.1245 ,
\ 0.8464 , \ 0.8755 bit.
Remarque : ; , \ et \ peuvent être obtenue également à partir des équations
(I.74) et (I,71).
5.3. ENTROPIE DIFFERENTIELLE (VARIABLE ALEATOIRE CONTINUE)
Si est une variables aléatoire continue ayant une fonction de densité de probabilité , alors
l’entropie (appelé entropie différentielle) est donnée comme suit :
log . 75
Remarque : l’entropie différentielle n’est pas toujours positive.

Exemple (I.3) : Soit est variable aléatoire gaussienne de moyenne nulle 0 et de variance .
Son entropie différentielle est donnée par: log 2 ) bit
Exemple (I.4) : Soit est une variable aléatoire distribuée uniformément sur l’intervalle [0.a].
Son entropie différentielle est donnée par: log
14

Cours 1 2 3 4 Chapitre1 L'information Et Le Codage 2023

Uploaded by

Copyright:

Available Formats

You might also like

Cours 1 2 3 4 Chapitre1 L'information Et Le Codage 2023

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cours 1 2 3 4 Chapitre1 L'information Et Le Codage 2023

Uploaded by

Copyright:

Available Formats

Polycopié du cours : Codage et Théorie de l’information,

3ième Licence, Télécom, ST

Contenu des Cours 1, 2, 3 et 4:

Chapitre I : L’information et le codage

2. PRINCIPE D’UNE CHAINE DE TRANSMISSION NUMERIQUE

Décodage de Décodage de Démodulation

Figure. I.1: Principe d’une chaine de transmission numérique

2.1. SOURCE D’INFORMATION

2.2. CANAL DE TRANSMISSION

3. RAPPELS SUR LES PROBABILITES

3.1.1. Expérience aléatoire

Où ∩ est la probabilité conjointe de et .

3.2.2. Evénements indépendants

On peut déduire à partir des équations (I.9) et (I.5), la probabilité conditionnelle \ :

A partir de (I.11) et (I.12), on peut déduire que la probabilité est égale à :

3.3. VARIABLES ALEATOIRES

3.3.3. Fonction de densité de probabilité d’une v.a continue

La fonction a des propriétés telles que :

3.3.4. Fonction de probabilité conjointe de variables aléatoire discrètes

Si , sont des v.a indépendantes, alors :

3.3.7. Fonction de densité de probabilité marginale de variables aléatoires continues

Si , sont des v.a indépendantes, alors :

3.4. ESPERANCE ET VARIANCE

La variance de la v.a discrète , notée par ou est définie comme suit :

3.4.2. Espérance et variance d’une variable continue

La variance de la v.a continue est définie comme suit :

3.5. COVARIANCE ET COEFFICIENT DE CORRELATION

La covariance de deux variables aléatoires et , notée , est définie par :

Le coefficient de corrélation varie entre -1 et 1 :

Où 0 1 et appelé coefficient binomial est donné par :

4. NOTION DE QUANTITE D’INFORMATION

Cette quantité doit satisfaire aux axiomes cités en dessus :

est appelé l’entropie de la source .

l’équation (I.13). Ainsi, on obtient :

5. ENTROPIE ET INFORMATION MUTUELLE

5.1. ENTROPIE (POUR VARIABLES ALEATOIRES DISCRETES)

Avec la convention 0 log 0 0.

Une remarque importante est :

5.1.1. Propriétés de l’entropie (variables aléatoires discrètes)

5.2. INFORMATION MUTUELLE

H(Y\X) I(X;Y) H(X\Y)

Figure. I.2 : Relation entre l’entropie et l’information mutuelle

Les probabilités conditionnelles peuvent être obtenues en appliquant l’équation I(1.2) :

5.3. ENTROPIE DIFFERENTIELLE (VARIABLE ALEATOIRE CONTINUE)

Remarque : l’entropie différentielle n’est pas toujours positive.

You might also like