P. 1
42570411 Theorie de l Information Et Codage

42570411 Theorie de l Information Et Codage

|Views: 592|Likes:
Published by Hisham Basky

More info:

Published by: Hisham Basky on Jul 04, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

12/30/2013

pdf

text

original

Introduction à la théorie de

l’information

Where is the life we have lost in living? Where is the wisdom we have lost in knowledge? Where is the

knowledge we have lost in information?

T.S. Eliot, "The Rock"

2.1 Rappels de probabilités

Soit une variable aléatoire X ayant pour espace de réalisations AX = {x1,x2,...,xn} (on parle
aussi d’alphabet) avec les probabilités respectives PX = {p1,p2,...,pn} avec :

P(X = xi) = pi pi 0 et

xi∈AX

pi = 1

(2.1)

Probabilité conjointe

Soit deux variables aléatoires X et Y ayant pour espace de réalisations respectif AX =
{x1,x2,...,xn} et AY = {y1,y2,...,ym}
On appelle P(X = xi,Y = yj) la probabilité conjointe des évènements X = xi et Y = yj. On

a bien entendu :

xi∈Ax

yj∈Ay

P(X = xi,Y = yj) = 1

(2.2)

Probabilité marginale

Il est possible d’obtenir la probabilité P(X = xi) à partir de la probabilité conjointe P(X =

xi,Y = yj) :

P(X = xi) =

yj∈Ay

P(X = xi,Y = yj)

(2.3)

Probabilité conditionnelle

P(X = xi|Y = yj) = P(X = xi,Y = yj)
P(Y = yj)

(2.4)

De la même manière on a :

3

4

CHAPITRE 2. INTRODUCTION À LA THÉORIE DE L’INFORMATION

P(Y = yj|X = xi) = P(X = xi,Y = yj)
P(X = xi)

(2.5)

Ainsi on a la relation

P(Y = yj,X = xi) = P(X = xi|Y = yj)P(Y = yj) = P(Y = yj|X = xi)P(X = xi) (2.6)

Loi de Bayes

P(X = xi|Y = yj) = P(Y = yj|X = xi)P(X = xi)
P(Y = yj)

= P(Y = yj|X = xi)P(X = xi)

xk∈Ax

P(X = xk,Y = yj)

= P(Y = yj|X = xi)P(X = xi)

xk∈Ax

P(Y = yj|X = xk)P(X = xk)

P(X = xi|Y = yj) est appelée la probabilité a posteriori sur la réalisation de l’événement
X = xi sachant la réalisation de l’événement Y = yj. P(Y = yi) est appelée la probabilité a priori.

Indépendance

L’indépendance de deux variables aléatoires X et Y implique

P(X,Y) = P(X)P(Y)

(2.7)

et

P(X|Y) = P(X)

(2.8)

2.2 Remarques sur la notion d’information

La notion quantitative d’information associée à un message échangé entre un émetteur et un
destinataire dans le language usuel est liée à :
– la véracité du message
– la connaissance a priori du message par le destinataire
– la compréhension du destinataire (problème de langue, ...)
– l’intérêt qu’y apporte le destinataire
– ...
Toutes ces considérations relèvent de la sémantique.
Dans la théorie de l’information, nous ne retiendrons qu’un aspect partiel du concept général
d’information : la mesure quantitative d’information est une mesure de l’incertitude associée à un
événement. Cette notion d’information est fondamentale dans l’étude des systèmes de communi-
cation.

2.3 Une mesure logarithmique de l’information

Une mesure de l’information associée à l’événement X = xi notée h(xi) doit satisfaire les

propriétés suivantes [27] :
– h(xi) doit être continue pour p(X = xi) compris entre 0 et 1
– h(xi) = si P(X = xi) = 0
– h(xi) = 0 si P(X = xi) = 1 : un événement certain n’apporte pas d’information

2.3. UNE MESURE LOGARITHMIQUE DE L’INFORMATION

5

– h(xi) > h(yj) si P(Y = yj) > P(X = xi)
– h(xi) + h(yj) = h(xi,yj). La réalisation de 2 évènements indépendants Y = yj et X = xi
apporte une quantité d’information égale à la somme des informations de ces 2 évènements
h(xi) et h(yj).
La seule expression de la quantité d’information h(xi) associée à la réalisation de l’évènement
X = xi satisfaisant les propriétés énumérées ci-dessus est la suivante :

h(xi) = log2

1

P(X = xi) =log2P(X = xi) =log2pi

(2.9)

On peut noter qu’avec cette définition, un évènement très probable transportera moins d’in-
formation qu’un évènement peu probable. Lorsque la base 2 est utilisée 1

, l’unité de h(xi) est
le Shannon (Sh). Lorsque le logarithme népérien est utilisé, l’unité est le Nat (natural unit en
anglais).

Exemple 1 : soit une source discrète produisant des bits (0 ou 1) avec la probabilité 1

2. La

quantité d’information associée à la réalisation de l’événement X = 0 ou X = 1 est égale à :

h(0) = h(1) =log2

1

2 = 1 Sh

(2.10)

Si cette source génère une séquence de n bits indépendants, il y a 2n

séquences différentes. Cha-

cune de ces séquences se produit avec la probabilité 1

2n. L’information apportée par la réalisation

d’une séquence particulière est égale à :

h(séquence de n bits) =log2

1

2n = n Sh

(2.11)

Considérons maintenant la réalisation de 2 évènements X = xi et Y = xj. La quantité d’infor-

mation associée est :

h(xi,yj) = log2

1

P(X = xi,Y = yj) =log2P(X = xi,Y = yj)

(2.12)

où P(X = xi,Y = yj) est la probabilité conjointe des deux évènements.
La quantité d’information associée à la réalisation de l’événément X = xi conditionnellement
à l’évènement Y = yj est la suivante :

h(xi|yj) = log

2

1

P(X = xi|Y = yj) =log

2P(X = xi|Y = yj)

(2.13)

A partir de la relation (2.6), on en déduit :

h(xi,yj) = h(xi|yj) +h(yj) = h(yj|xi) +h(xi)

(2.14)

Exemple 2 : on tire une carte au hasard dans un jeu de 32 cartes ( 4 couleurs : cœur, pique,
carreau et trèfle - 8 valeurs : 7,8, 9, 10 valet dame roi as). Soit x l’événement "la carte tirée est un
as de trèfle" et y l’événement "la carte tirée est un trèfle". Calculons h(x), h(y) et h(x|y).

Comme

P(X = x) = 1

32 et P(Y = y) = 1
4

(2.15)

Nous obtenons :

h(x) =log

2

1

32 = 5 Sh et h(y) =log

2

1

4 = 2 Sh

(2.16)

P(X = x|Y = y) = P(X = x,Y = y)

P(Y = y) = 1/32

1/4 = 1
8

(2.17)

h(x|y) =log

2P(X = x|Y = y) =log
2

1

8 = 3 Sh

(2.18)

1

log

2x = lnx
ln2

6

CHAPITRE 2. INTRODUCTION À LA THÉORIE DE L’INFORMATION

2.3.1 Information mutuelle

On définit l’information mutuelle comme la quantité d’information que la réalisation de l’évé-
nement Y = yj apporte sur l’événement X = xi. Plus exactement, c’est la différence entre la
quantité d’information associé à la réalisation de l’événement X = xi et la quantité d’information
associé à la réalisation de l’événement X = xi conditionnellement à l’événement Y = yj. Cette
quantité d’information s’obtient comme suit :

i(xi,yj) = h(xi)h(xi|yj)

= log

2

P(X = xi|Y = yj)

P(X = xi)

(2.19)

Si les deux événements sont indépendants, alors P(X = xi|Y = yj) = P(X = xi) et donc
i(xi,yj) = 0. A l’opposé, si l’événement X = xi est équivalent à l’événement Y = yj, alors

P(X = xi|Y = yj) = 1 et i(xi,yj) = h(xi).
Comme on a la relation

P(X = xi|Y = yj)

P(X = xi) = P(X = xi,Y = yj)

P(X = xi)P(Y = yj) = P(Y = yj|X = xi)
P(Y = yj)

L’information que la réalisation de l’évènement Y = yj apporte sur l’évènement X = xi est
identique à l’information que la réalisation de l’évènement X = xi apporte sur l’évènement Y = yj.

i(xi,yj) = i(yj,xi)

(2.20)

On a également les relations suivantes :

i(xi,yj) = h(xi)h(xi|yj)

= h(xi) +h(yj)h(xi,yj)

= h(yj)h(yj|xi)

Contrairement à h(xi), l’information mutuelle i(xi,yj) peut être négative.

Suite de l’Exemple 2 : Calculons i(x,y)

i(x,y) = h(x)h(x|y)

= 5 Sh3 Sh = 2 Sh

(2.21)

La quantité d’information que la réalisation de l’événement "la carte tirée est un trèfle" apporte
sur l’événement "la carte tirée est un as de trèfle" est égale à 2 Sh.

L’information mutuelle est importante pour les communications en particulier lorsque l’on
identifie X à l’entrée d’un canal de transmission et Y au signal correspondant à la sortie du canal
de transmission.

2.4 Entropie et information mutuelle moyenne

Après s’être intéressé aux évènements individuels, nous allons maintenant déterminer l’en-
tropie d’une source décrite par la variable aléatoire X ayant pour espace de réalisation AX =
{x1,x2,...,xn} avec les probabilités respectives PX = {p1,p2,...,pn}. n est la taille de l’alpha-
bet. La quantité d’information moyenne ou entropie de la source est la moyenne des informations
relatives à chaque réalisation de l’évènement X = xi :

2.4. ENTROPIE ET INFORMATION MUTUELLE MOYENNE

7

H(X) =

n
i=1

pih(xi)

=

n
i=1

pi log2

1

pi

=

n
i=1

pi log

2pi en Sh/symbole

(2.22)

H(X) mesure l’incertitude sur X.

Propriétés :

H(X) 0 avec égalité si pi = 1 pour une valeur de i

(2.23)

H(X) log2n

(2.24)

H(X) = HMAX(X) = log2n si pi = 1

ni

(2.25)

L’entropie est donc maximale lorsque toutes les probabilités pi sont égales.

Exemple : soit une source à 2 états x0 et x1 avec p0 = p et p1 = 1p
L’entropie de cette source est la suivante :

H(X) H(p,1p) =plog2p(1p)log2(1p)

(2.26)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

probabilité p

H(X)

Fig. 2.1 – Entropie d’une source binaire

Ainsi, l’entropie de la source binaire est maximale (1 Sh/bit) lorsque p = 0.5

Considérons deux variables aléatoires X et Y ayant respectivement pour espace de réalisations
AX = {x1,x2,...,xn} et AY = {y1,y2,...,ym}. L’entropie conjointe H(X,Y) est définie comme

8

CHAPITRE 2. INTRODUCTION À LA THÉORIE DE L’INFORMATION

suit :

H(X,Y) =

n
i=1

m
j=1

P(X = xi,Y = yj)h(xi,yj)

=

n
i=1

m
j=1

P(X = xi,Y = yj)log2P(X = xi,Y = yj)

(2.27)

Si les variables aléatoires X et Y sont indépendantes, l’entropie conjointe est égale à la somme des
entropies H(X) et H(Y).

On peut aussi déterminer l’entropie conditionnelle H(X/Y) qui détermine l’information sur X
sachant l’observation Y à partir de h(xi|yj) :

H(X|Y) =

n
i=1

m
j=1

P(X = xi,Y = yj)h(xi|yj)

=

n
i=1

m
j=1

P(X = xi,Y = yj)log2P(X = xi|Y = yj)

(2.28)

Les relations (2.6) ou (2.14) permettent d’exprimer l’entropie conjointe en fonction de l’entropie
et l’entropie conditionnelle :

H(X,Y) = H(X) +H(Y|X) = H(Y) +H(X|Y)

(2.29)

L’incertitude sur X et Y est égale à l’incertitude sur X plus l’incertitude sur Y sachant X.
L’information mutuelle associée à la réalisation d’un événement peut également être étendue
aux variables aléatoires X et Y.

I(X,Y) =

n
i=1

m
j=1

P(X = xi,Y = yj)i(xi,yj)

=

n
i=1

m
j=1

P(X = xi,Y = yj)log2

P(X = xi|Y = yj)

P(X = xi)

=

n
i=1

m
j=1

P(X = xi,Y = yj)log2

P(X = xi,Y = yj)

P(X = xi)P(Y = yj)

(2.30)

Ainsi, on a les relations suivantes :

I(X,Y) = H(X) +H(Y)H(X,Y) = H(X)H(X|Y) = H(Y)H(Y|X) (2.31)

L’information mutuelle I(X,Y) mesure la quantité moyenne d’information sur X ( ou réduction
d’incertitude moyenne ) qui résulte de la connaissance de Y.
La figure 2.2 montre graphiquement les relations entre les différentes entropies et l’information

mutuelle.

Alors que i(xi,yj) peut être négatif, on a I(X,Y) 0.

2.4. ENTROPIE ET INFORMATION MUTUELLE MOYENNE

9

H(X)

H(Y)

H(X|Y)

H(Y|X)

H(X,Y)

I(X,Y)

Fig. 2.2 – Relations entre entropie et information mutuelle.

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->