Tinf 1

Andrea G. B.
Tettamanzi, 2001
Teoria dellInformazione (Classica) Teoria dellInformazione (Classica)
Andrea G. B. Tettamanzi
Universit degli Studi di Milano
Dipartimento di Tecnologie dellInformazione
Andrea G. B. Tettamanzi, 2001
Lezione 1
3 ottobre 2002
Programma del Corso
Che cos lInformazione e che cos la T.I.
Richiami di Teoria della Probabilit
Propriet matematiche utilizzate nella T.I.
Misura dellinformazione: lEntropia.
Codici
Comunicazione in presenza di rumore
Codici a correzione derrore
Cenni sulla Teoria della Trasmissione
Cenni di Crittografia
Bibliografia
E. ANGELERI: Informazione: significato e universalit, UTET,
Torino, 2000. (libro di testo)
J. VAN DER LUBBE: Information Theory, Cambridge University
Press, 1988.
J. R. PIERCE: An Introduction to Information Theory, Dover,
1980.
Ricevimento Studenti
Gioved, dalle ore 14.00 alle ore 16.00
Per appuntamento:
e-mail: andrea.tettamanzi@unimi.it
tel.: 03 73 89 82 48
Sito del corso: http://mago.crema.unimi.it/Classes/TIC
Modalit di Esame
Scritto: 3 o 4 esercizi che coprono vari argomenti del corso.
Temi desame degli scritti degli anni passati, completi di correzione,
disponibili allURL:
http://mago.crema.unimi.it/Classes/TIC/Temidesame
Orale: interrogazione su definizioni, enunciati di teoremi e
alcune dimostrazioni, rielaborazione critica del materiale
presentato a lezione.
Che Cos lInformazione?
SINTASSI
SEMANTICA
PRAGMATICA
significato
Informazione
informazione
apparato
simbolico
Rilevanza pratica dellinformazione (effetto, scopo, ecc.)
Informazione - semantica
La quantit di informazione di un enunciato tanto pi grande
quante pi sono le alternative che esso esclude.
U
A
B
Che cos la Teoria dellInformazione?
Una teoria matematica dellaspetto simbolico dellInformazione
Un approccio quantitativo alla nozione di Informazione
Risponde alle domande:
Come immagazzinare e trasmettere informazione in modo
compatto? (compressione)
Qual la massima quantit di informazione che pu essere
trasmessa su un canale? (velocit di trasmissione)
Come posso proteggere la mia informazione:
dalla corruzione del suo supporto o da errori di trasmissione?
da sguardi indiscreti?
Compressione
Immagazzinamento = Trasmissione
scrittura
lettura
t
0
t
1
invio
ricezione
x
0
x
1
Funzioni convesse
) ( ) ( ) (
2 1 2 1
x x f x f x f + +
0 ,
1
>
= +

Diseguaglianza fondamentale:
1 ln x x
1
ln
log
b
x
x
b
Convessit del valore atteso
convessa
concava
) (X g ]) [ ( )] ( [ X E g X g E
) (X g
]) [ ( )] ( [ X E g X g E >
Misura dellInformazione
R. V. L. Hartley
Alfabeto di s simboli
C I A O M M M A A , !
1 2 l
Messaggi possibili
l
s
s l s s H
l l
log log ) ( = = R. Hartley
) ( ) (
1
s lH s H
l
= Perch il logaritmo? Perch cos
Unit di misura dellInformazione
A
A
2
1
) ( ) ( = = A P A P
La quantit di informazione che permette di distinguere uno
di due eventi equiprobabili e mutuamente esclusivi lunit
di misura dellinformazione: il bit.
Un simbolo di un alfabeto di s simboli equiprobabili porter
uninformazione di
s
2
log bit
Entropia informativa di Shannon
=
=
n
i
i i
x P x P X H
1
) ( log ) ( ) (
continua
simmetrica (commutativa)
additiva ) ( ) ( ) , ( Y H X H Y X H + =
Massimo dellEntropia
n X H log ) (
= =

= =
n
i
n
i
i
i i i
n p
p n p p n X H
1 1
1
log log log log ) (
0 log ) 1 1 (
log
1
log 1
1
1 1 1
= =
=
'
+
'
'
+
'

= = =
e
e p
n
e
n p
p
n
i
i
n
i
n
i
i
i
a
b
b
a
log
1
log = N.B.:
Entropia delle lingue
testo
) Z" " (
) A" " (
P
P
6
Frequenze
dei simboli
=
=
Z" "
A" "
2
) P(
1
)log P( ) testo (
o
o
o H
Ridondanza
L =1
Efficienza di codifica
M
X H
2
log
) (
= L
056 , 4 ) en (
046 , 4 ) de (
896 , 3 ) fr (
956 , 3 ) it (
=
=
=
=
H
H
H
H
853 , 0 ) en (
850 , 0 ) de (
839 , 0 ) fr (
887 , 0 ) it (
=
=
=
=
L
L
L
L
Informazione secondo Kolmogorov
Misura assoluta, non utilizza la probabilit
X
Y
x y D = ) (
x
y
descrizioni
oggetti
y x K
x y D =
) (
min ) (
fn.
parziale
ricorsiva
Equivalenza con entropia di Shannon
_ a
k
k x K x 2 ) ( :
c n X H x K x p X H
n
x
n n n
n
+ +
log 2 ) ( ) ( ) ( ) (
) ( ) ( X nH X H
n
=
) (
) (
lim X H
n
x K
n
n
=

Lezione 2
8 ottobre 2002
Assiomi dellentropia (1)
) , , , (
2 1 n
p p p H /
Misura dincertezza,
max con eventi equiprobabili
) , , , ( ) , , , (
) ( ) 2 ( ) 1 ( 2 1 n n
p p p H p p p H
x x x
/ / =
1
2
3
0 ) , , , (
2 1
>
n
p p p H /
4 ) 0 , , , , ( ) , , , (
2 1 2 1 n n
p p p H p p p H / / =
(simmetrica)
Assiomi dellentropia (2)
5
)
1
1
, ,
1
1
,
1
1
( )
1
, ,
1
,
1
(
+ + +
n n n
H
n n n
H / /
6 continua
7 ) , , ( ) , , ( ) , , (
1 1 1 1 n n n n
q p q p H q q H p p H / / / = +
8
) , , ( ) , , ( ) , (
) , , , , , (
1 1
1 1
q
q
q
q
qH
p
p
p
p
pH q p H
q q p p H
n n
n n
/ /
/ /
+ + =
=
(diramazione)
Teorema
0
log ) , , (
1
1
>
=

=
k
p p k p p H
n
i
i i n
/
Se H soddisfa gli otto assiomi,
Basterebbero 4 assiomi minimali:
- continuit;
- simmetria;
- propriet di diramazione
- H(1/2, 1/2) = 1
Modello della comunicazione
sorgente destinazione
rumore
canale
Modello dettagliato
Sorgente di
informazione
Destinazione
riduzione ricostruzione
Codifica
sorgente
cifratura
Decodifica
sorgente
decifrazione
Codifica
canale
Decodifica
canale
modulazione demodulazione Canale continuo
distorsione
(rumore)
Canale discreto
Sorgente discreta senza memoria
_ a
_ a
_ a ) ( , ), ( ), ( ) (
, , ,
:
2 1
2 1
n
n
i
x p x p x p X P
x x x X
Z i t T
/
/
=
=
n
i
i
x p
1
1 ) (
S un dispositivo che genera ad ogni istante t un simbolo x con
probabilit p(x), i.i.d.
'
+
'
'
+
'
=
P
X
x p x p x p
x x x
S
n
n
) ( ) ( ) (
2 1
2 1
/
/
Propriet
|
=
+ + +
= = =
1
0
1 1
) ( ) (
1 1 0
r
j
i j k i i i r k k k
j r
x X P x x x X X X P / /
Indipendenza statistica e stazionariet:
) (
1
log ) (
i
i
x p
x I =
autoinformazione
Il concetto di codice
Alfabeto sorgente
Alfabeto del codice
_ a
N
s s s S , , ,
2 1
/
_ a
n
x x x X , , ,
2 1
/
n N >
* S z
* X w
* * : cod X S
) cod(z w =
) ( cod
1
w z

=
Esempio: codifica delle cifre decimali
Cifra
decimale
Rappresentazione
binaria
0
1
2
3
4
5
6
7
8
9
0000
0001
0010
0011
0100
0101
0110
0111
1000
1001
Estensione di una sorgente
Alfabeto base
Alfabeto esteso
_ a
n
x x x X , , ,
2 1
/
,
|
Pq P P
/ /
Pq P P
/
m
n n n
m
m
x x x x x x X , ,
1 1 1
Teorema
Data una sorgente senza memoria, ) ( ) ( X mH X H
m
=
Dimostrazione:
) (
1
log ) ( ) (
1
1
1
1
m
i m
m
i
m
i i
X x X x
i i
m
x x p
x x p X H
/
/ /

=

= =
=
X x
i
i
i i
X x X x
i i
i
m
i m
m
i
m
X mH
x p
x p m
x p x p
x p x p
) (
) (
1
log ) (
) ( ) (
1
log ) ( ) (
1
1
1
1
/
/ /
Nel caso X = {0, 1}
)
) )
) )
) } 1 , 0 { 2
1
log
1
log 2
1
log
1
log 2
1
log
1
log 2
1
log
1
log
1
log
1
log 2
1
log 2
1
log
1
log 2
1
log 2
1
log
1
log
1
log
1
log } 1 , 0 {
1
1
0
0
1 0
1
1 1 0
0
0
2
1 1 0
1
1 0
2
0
0
1
2
1
1
1 0
0
1 0
0
2
0
1
2
1
1 0
1 0
0
2
0
1 1
1 1
0 1
0 1
1 0
1 0
0 0
0 0
2
H
p
p
p
p
p p
p
p p p
p
p
p p p
p
p p p
p
p
p
p
p p
p
p p
p
p
p
p
p p
p p
p
p
p p
p p
p p
p p
p p
p p
p p
p p H
=
+ =
+ + + =
+ + + =
+ + + =
+
'
+
'
+ + =
+ + + =
Lezione 3
14 ottobre 2002
Classificazione dei codici
A blocco
Singolare Non singolare
Unicamente
decodificabile
Non unicamente
decodificabile
Istantaneo
Non istantaneo
Esempi
Non unicamente
decodificabile:
01
00
11
0
4
3
2
1
=
=
=
=
s
s
s
s
Non istantaneo:
0110
0111
01
0
4
3
2
1
=
=
=
=
s
s
s
s
Codici a prefisso
Condizione necessaria e sufficiente perch un codice
sia istantaneo che nessuna parola del codice sia un
prefisso di unaltra parola del codice.
0
1
1
1
0
0
Diseguaglianza di Kraft
Condizione necessaria e sufficiente perch esista un
codice istantaneo con lunghezze di parola
che
q
l l l , , ,
2 1
/
1
1
q
i
l
i
r
Dimostrazione - sufficienza
Costruiamo un codice istantaneo che soddisfa
1
1
q
i
l
i
r
q n
l
l
l
=
=
max
1
1
max
1
l
l
l
l
r n
max
max
max
1
l
l
l
l l
l
r r n
r n r n r n
l
l l
l 1
1
1
max
max max
max

/
r n
r n r n
r n r n r n
l
l l
l
1
1
2
2
2
2
1
1
1
max
max max
max
6
/
Teorema di McMillan
Un codice unicamente decodificabile soddisfa la diseguaglianza di Kraft
)
n
l
l l
n
q
i
l
q
i
r r r r

=
+ + + =
'
+
'
/
2 1
1
n
i i
l l k + + = /
1
k
l l
r r
n
i i

=
/
1
Sviluppando la potenza, avremo q
n
termini della forma
max
nl k n
max max
1
1
max max
nl n nl r r r N r
nl
n k
k k
nl
n k
k
k
n
q
i
l
i
+ =
'
+
'
k
k
r N
ma allora deve essere
1
1
q
i
l
i
r
1 > Vn
Teorema di codifica della sorgente
) (S H l
r
>
n
i
i i
p l l
1
Sia la lunghezza media di un codice istantaneo
a r simboli. Allora,
i
l
i r
r p i S H l

= V = : ) (
Dimostrazione

= = = =
= =
n
i
l
r i
n
i
i
r i
n
i
i i
n
i
i
r i r
i
r p
p
p p l
p
p l S H
1 1 1 1
log
1
log
1
log ) (
= = =

= = =
n
i
l
i
i
n
i
l
i
r i
n
i
i
l
r i
r
r p
p
r p
p
p
r
p
i
i
i
1 1 1
ln
1
ln
1
log log
0 1
ln
1
1
1
ln
1
1 1

'
+
'
'
+
'
=
n
i
l
n
i
l
i
i
i
i
r
r r p
p
r
Kraft
Propriet fondamentale dei logaritmi
Lezione 4
21 ottobre 2002
Processi Stocastici
_ a
X
t
t
( )
, ,
[
=0 1 /
Un processo stocastico una successione di v.a.
/ / , , , ,
2 1 t
X X X
Ciascuna con la propria distribuzione di probabilit.
Notazione:
Catene di Markov
_ a
X
t
t
( )
, ,
[
=0 1 /
Un processo stocastico
una catena di Markov sse il suo stato dipende solo dallo
stato precedente, cio, per ogni t,
P X x X X X P X x X
t t t t
[ | , , , ] [ | ] = = =
0 1 1 1
/
A B C
0.4
0.6
0.3
0.7
0.25
0.75
Processi Markoviani
_ a
X
t
t
( )
, ,
[
=0 1 /
] , , , | [
] , , , | [
2 1
1 1 0
m t t t t
t t
X X X x X P
X X X x X P

= =
= =
/
/
un processo Markoviano di ordine m sse
Sorgente discreta con memoria
_ a
_ a
)] ( , ), 1 ( | ) ( [ ) (
, , ,
:
2 1
m t x t x t x P X P
x x x X
Z i t T
i
n
i

/
/
S un dispositivo che genera ad ogni istante t un simbolo x con
probabilit condizionata dagli m simboli generati in precedenza
Stazionariet: le probabilit sono costanti nel tempo
Informazione e Entropia condizionali
) | (
1
log ) | (
2 1
2 1
m
m
j j j i
j j j i
x x x x p
x x x x I
/
/ =
Informazione condizionale:
) | (
1
log ) | ( ) | (
2 1
2 1 2 1
1
m
m m
j j j i
n
i
j j j i j j j
x x x x p
x x x x p x x x X H
/
/ /

=
=
Entropia condizionale:
Propriet dellEntropia condizionale
) ( ) | ( Y H X Y H
0 log log ) | ( log ) ( log
1
) | (
) (
) | ( log
) | (
) (
log ) | (
) ( log ) (
) | (
1
log ) | (
) ( ) | (
1 1 1 1
1 1 1 1
1 1 1
= = =
=
'
+
'
=
= + =
=

= = = =
= = = =
= = =
e e x y p e y p e
x y p
y p
x y p e
x y p
y p
x y p
y p y p
x y p
x y p
Y H X Y H
X
i
Y
j
i j
X
i
Y
j
j
X
i
Y
j
i j
j
i j
X
i
Y
j
i j
j
i j
Y
j
j j
X
i
Y
j
i j
i j
Dimostrazione:
=
=
X
i
j i
y x p
1
1 ) | (
Struttura statistica delle lingue
testo
) Z" " (
) A" " (
P
P
6
Distribuzione
a memoria 0:
) Z" |" Z" " (
) B" |" A" " (
) A" |" A" " (
P
P
P
6
Distribuzione
a memoria 1:
Frequenze statistiche dellitaliano
_ A E I O U N T R L C S D P M G V H F B Z Q
1583 988 945 863 849 255 684 670 539 512 395 376 303 202 193 174 120 93 82 72 72 30
_ 343 381 281 343 3 48 9 27 122 3 24
A 166 12 79 12 42 130 106 64 73 39 51 33 48 9 45 24 6 21 24
E 94 36 27 98 134 91 82 23 61 101 48 39 21 30 42 3 9 6
I 133 12 12 15 55 106 91 67 70 36 91 24 40 21 24 15 21 3 27
O 42 42 36 121 112 62 46 142 61 27 36 33 21 9 12 27 12 3
U 27 3 24 21 39 6 12 9 24 9 12 15 3 6 6 30
N 88 148 97 95 160 36 18 18 24
T 91 142 18 70 24 27 106 76 30 21 65
R 52 54 128 12 124 33 64 12 3 27 6 6 12 6
L 91 88 83 45 45 9 6 98 7 30 4 6
C 163 18 6 61 12 3 33 33 15 51
S 133 33 76 34 40 12 15 12 21
D 164 9 42 12 6 64 6
P 103 15 15 6 17 9 6 9 15 12
M 49 33 27 15 36 9 21 3
G 30 39 33 9 15 9 21 18
V 21 24 18 21 18 6 6 3 3
H 27 60 9
F 55 3 6 12 3 3
B 24 6 6 3 6 18 9
Z 18 3 12 3 21 3 12
Q 30 3 3 3
Approssimazioni
Memoria 0:
E A IDAVEAPDIAOSPTRR OMR ELRROULEETDP A
OOEPVUNCNCM AALPNESCIESI ...
Memoria 1:
NFA EGI SSISA LE LERA SCHELA CILU GGILLE PRA
PRANA ...
Memoria 2:
OR IL SARSERA NE HAI GUE E LAMASSETTERRA DO E LA
SE AL MILA ...
Memoria 3:
Stima dellEntropia con memoria infinita
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
1 10 100
Memoria
E
n
t
r
o
p
i
a
Esperimento di Shannon
) (
1
log ) (
1
lim
x P
x P
n
H
n x
n

=

=
Entropia nelle sorgenti con Memoria

= = =
=
=
n
j
n
j
n
j
j j j i
j j j i
m
m
m
m
x x x x p
x x x x p
X H
1 1 1
1 2
2 1
2 1
) | (
1
log ) | (
) (
/
/ /
1
+
=
1
2 1
2 1
) | (
1
log ) , , , , (
m
m
m
X j j j i
j j j i
x x x x p
x x x x p
/
/
Teorema
) ( ) ( ) ( ) (
1 0 m
X H X H X H X H
1 1 1
> > > = /
Lentropia di una sorgente con memoria tanto minore quanto
maggiore lordine della memoria.
Dimostrazione
(Per semplicit, solo nel caso a memoria di ordine 1)
= =
= =
n
i
n
j
i j
j i
x x p
x x p X X H X H
1 1
1 2
2 1 1 2
) | (
1
log ) , ( ) | ( ) (
1
1
) ( ) ( ) | ( ) ( ) , (
2 1 1 2 1 2 1
X H X H X X H X H X X H + + =
Inoltre,
) ( ) ( ) ( ) | ( ) (
0 1
2 1 2 1 1
X H X H X H X X H X H = = =
Lezione 5
24 ottobre 2002
Codici ottimali con probabilit note a priori
Osservazione: in un codice C ottimale,
j i j i
l l p p >
Dimostrazione: si supponga di scambiare le due parole in questione
) )( (
' '
1 1
i j j i
j j i i i j j i
n
k
k k
n
k
k k
l l p p
l p l p l p l p l p l p l l
=
= + = =

= =
Siccome C ottimale,
l l > '
quindi deve essere per forza
0 >
i j
l l
c.v.d.
Osservazione: in un codice istantaneo C ottimale a base r,
le r parole pi lunghe hanno la stessa lunghezza.
Dimostrazione: se cos non fosse, potrei sopprimere lultima
parte delle parole pi lunghe senza perdere la propriet di prefisso
e ottenendo un codice migliore (assurdo).
Osservazione: in un codice istantaneo C ottimale a base r,
le r parole pi lunghe sono associate agli r simboli sorgente
meno probabili e differiscono solo per lultimo simbolo.
Dimostrazione: per
1
p
2
p
3
p
4
p
0
0
0
0
1
1
1
1
p
2
p
3
p
4
p
0
0
0
1
1
1
2 = r
Codice di Fano
Ordinare i simboli sorgente in ordine di probabilit decrescente
Dividere al meglio i simboli in r gruppi equiprobabili
Assegnare a ciascun gruppo uno degli r simboli come prefisso
Ripetere la divisione per gruppi in modo ricorsivo finch
possibile
Esempio
simbolo probabilit codice
0
1
2
3
4
5
6
7
8
9
1/4
1/4
1/8
1/8
1/16
1/16
1/32
1/32
1/32
1/32
00
01
100
101
1100
1101
11100
11101
11110
11111
Codice di Shannon
Calcolare le probabilit cumulative
=
=
1
1
) (
k
i
i k
s P P
Scriverle in notazione r-aria
Il numero di simboli per parola di codice dato da
1
) (
1
log
) (
1
log +
i
i
i
s P
l
s P

=
) (
1
log
i
i
s P
l cio
Esempio
simbolo probabilit prob. Cum. lunghezza codice
0
1
2
3
4
5
6
7
8
9
1/4
1/4
1/8
1/8
1/16
1/16
1/32
1/32
1/32
1/32
0
1/4
1/2
5/8
3/4
13/16
7/8
29/32
15/16
31/32
2
2
3
3
4
4
5
5
5
5
00
01
100
101
1100
1101
11100
11101
11110
11111
Codice di Huffman
Ordinare i simboli sorgente per probabilit decrescente
Raggruppare gli r simboli meno probabili e considerarli come un
solo simbolo
Ripetere il raggruppamento finch possibile
Restano al massimo r simboli o gruppi di simboli
Assegnare uno degli r simboli a ciascuno dei gruppi come
prefisso
Svolgere i gruppi allindietro ripetendo lassegnamento del
prefisso finch tutti i simboli sorgente hanno una parola di
codice associata
Esempio
simbolo probabilit
0
1
2
3
4
5
0.4
0.3
0.1
0.1
0.06
0.04
0
1
0.4
0.3
0.1
0.1
0.1
0
1
0.4
0.3
0.2
0.1
0
1
0.4
0.3
0.3
0
1
0.6
0.4
0
1
1
00
011
0100
01010
01011
codice
Ottimalit del codice di Huffman
_ a
n n
s s s C , , ,
1 1
= / _ a ' , , , '
2 1
s s s C
n
= /
n n
s s s =
1
'
n n n n
n
i
i i
n n n n
n
i
i i
p p l p p l p
l p l p l p l
+ + = + + =
= + + + + =

1 1
1
1
1 1 1
2
1
' ) ( '
) 1 ' ( ) 1 ' ( '
Codice alfabetico (o di Gilbert-Moore)
Ordinare i simboli sorgente secondo qualche criterio
La lunghezza di ciascuna parola di codice data da
i i
l
i
l
s P

2 1
2 ) ( 2
Determinare la sequenza
). (
2
1
) ( ) (
), (
2
1
) (
), (
2
1
1 1
2 1 2
1 1
n n n
s P s P s P
s P s P
s P
+ + + =
+ =
=
/
6
E
E
E
1 0
2 1

n
E E E /
Rappresentare in base r
ciascuno di questi numeri
secondo la lunghezza
calcolata
cio
+ = 1
) (
1
log
i
i
s P
l
Esempio
simbolo probabilit
i
l
i
E
codice
A
E
I
O
U
N
.
.
.
0.0988
0.0945
0.0863
0.0849
0.0255
0.0684
.
.
.
5
5
5
5
7
5
.
.
.
0.0494
0.14605
0.23645
0.32245
0.37725
0.4242
.
.
.
00001
00100
00111
01010
0110000
01101
.
.
.
Codice aritmetico
0 1
) (
1
s P
) (
2
s P
) (
3
s P
1
s
2
s
3
s
1
s
2
s
3
s
1
s
2
s
3
s
) ) ( ) ( ) ( ) ( ) ( 0
2 1 2 1 1 3 2 1
s P s P s P s P s P s s s + + + C
Codice Aritmetico: Algoritmo
s[1..n] la stringa da codificare
c = 0;
a = 1;
for i = 1 to n do
begin
c = c +a*ProbCum(s[i]);
a = a*Prob(s[i]);
end
c (scritto in base 2)
il codice cercato
c il codice ricevuto
a = 1;
for i = 1 to n do
begin
s[i] = FindSymbol(c);
c = (c -ProbCum(s[i]))
/Prob(s[i]);
i = i + 1;
end
s[1..n] la stringa cercata
Lezione 6
28 ottobre 2002
Algoritmo di Lempel e Ziv
1. Da sinistra a destra, scrivere ogni volta la parola pi breve
mai incontrata prima, fino alla fine del testo;
2. Per ogni parola, separare il prefisso (una parola gi incontrata)
dal simbolo finale;
3. Codificare ogni parola con una coppia formata dalla posizione
suo prefisso nella lista e dal simbolo finale che deve essere
aggiunto.
Esempio
1011010011010...
(passo 1) 1, 0, 11, 01, 00, 110, 10, ...
(passo 2) 1, 0, 1.1, 0.1, 0.0, 11.0, 1.0, ...
(passo 3) (0, 1) (0, 0) (1, 1) (2, 1) (2, 0) (3, 0) (1, 0) ...
000 1 000 0 001 1 010 1 010 0 011 0 001 0 ...
Efficienza del codice di Lempel e Ziv
? A 1 ) ( log ) ( ) ( + = n N n N n L
w w
) (n N
w
parole in un messaggio di lunghezza n
) ( log
2
n N
w
bit necessari per codificare la posizione di un prefisso
Lunghezza della codifica di un messaggio di lunghezza n:
Efficienza del codice di Lempel-Ziv:
? A
n
n N n N
n
n L
w w
LZ
1 ) ( log ) ( ) ( +
= = L
Teorema
) (
) ( log ) (
sup lim X H
n
n N n N
w w
n
=

Data una sorgente stazionaria ergodica con alfabeto X ed
entropia H(X), vale
q.c.
Diseguaglianza di Lempel e Ziv
n
n
n N
w
2
log ) 1 (
) (
I
0 lim =

I
n
con
2 2 ) 1 ( 2
1
1
+ = =
+
=
l
l
i
i
l
l i n
Dimostrazione:
Lungh. Cum. parole lunghe al pi l
1
: :
+
n V
l l
n n n l n
1 1
2 2 2 2 ) (
1 1
1

=
+ +
=
l
n
l
n
n N
l
l l
l
i
i
l w
n l n n
l
l
log 2 > >
) 2 (log 2
2
1
+
+
+
n n n
l
l
2 log
log 2
+
> +
n
n
l
Diseguaglianza di Lempel e Ziv (segue)
2 log
log 2
+
> +
n
n
l
Poniamo: 1
2 log
log 4 >
+
>
n
n
n
n n
n
n
n
n
n
n
n
n
n n l
log ) 1 ( log
log
4 ) log(log
1
log
log
3 ) log 2 log(
1 log
log
3 ) 2 log(log
1
3 ) 2 log(log log 1
I =
'
+
'
+
=
=
'
+
'
+
>
'
+
'
+ +
=
= + >
n
n
l
n
n N
w
log ) 1 ( 1
) (
I
Se ne conclude che
c.v.d.
Legge dei grandi numeri
1 ) (
) (
lim =
'
+
'

I
i
i
n
x f
n
x n
P
Debole:
: : 0 , N n > V o I
Forte:
o I >
'
+
'
> 1 ) (
) (
i
i
x f
n
x n
P N n
Diseguaglianza di ebyev
2
] var[
) | ] [ (|
C
X
C X E X P >
Dimostrazione:
| ] [ | X E X Z
2
2
] [
) (
C
Z E
C Z P >

=
= >
> >
i
i i
C z
i i
C z
i
C
Z E
z f z
C
z f z
C
z f C Z P
i i
2
2
2
2
2
2
] [
) (
1
) (
1
) ( ) (
) ( ) (
2 2
z f z z f C
Messaggi pi probabili
_ a
l
n
w w w W , , ,
2 1
/ =
tutti i messaggi di lunghezza l
il i i i
s s s w /
2 1
=
) (w l
i
Numero di occorrenze di s
i
in w
|
=
=
n
i
l
i
i
s P w P
1
) ( ) (
=
=
l
i
i
l l
1
) ( ) ( log ) (
) ( log ) ( log ) ( log
1
1
) (
1
S lH s P s P l
s P s P w P
n
i
i i
n
i
s lP
i
n
i
l
i
i i
= =
=
'
+
'
<
'
+
'
| |
=
= =
) (
i
i
s P
l
l
per la legge dei grandi numeri

) (
) (
1
log
1
S H
w P l
<
Teorema di Shannon-McMillan
Data una sorgente discreta senza memoria S di entropia H(S),
: : : 0 : 0 L l L > V n > V > V o I
Le parole di lunghezza l ricadono in due classi:
I)
II)
0 w
0 w
I
0 w
w P ) (
o ) (
) (
1
log
1
S H
w P l
Dimostrazione
)
2
2
I
o
I > x P
)
`
|
,
|
= 0 o l S lH
w P
w ) (
) (
1
log :
ebyev:
? A
2
2
2 2
2
2 2
) ( var
) (
) (
1
log ) (
o
o
o
o
o
o
l l
l
l
w I
l S lH
w P
P P =
'
+
'
> = 0
2
1 1
2
) ( log ) ( ) ( log ) ( )] ( var[
'
+
'
=

= =
i
n
i
i i
n
i
i
s P s P s P s P w I
Non dipende da l.
2
2
Io
o
= L
Lezione 7
31 ottobre 2002
Teorema
0 = M
) ) ( ( ) ) ( (
2 2 ) 1 (
o o
I
+

S H l S H l
M
Dimostrazione:
) ) ( ( ) ) ( (
2 ) ( 2 ) (
) (
1
log
1
o o
o
+

S H l S H l
w P S H
w P l

0

0
+
0
w
S H l
w
S H l
P
) ) ( ( ) ) ( (
2 ) ( 2
o o
) ) ( ( ) ) ( (
2 ) ( 2
o o +
0
S H l S H l
M P M
1 ) ( 1 0 P I
1 2
) ) ( (
+ o S H l
M
) ) ( (
2 1
o
I

S H l
M
I Teorema di Shannon
Sia S una sorgente discreta senza memoria di entropia H(S).
Siano messaggi di lunghezza l codificati in parole di codice di
lunghezza L in un alfabeto di codice con r simboli.
e
P Probabilit che occorra un messaggio per cui non sia
disponibile una parola di codice.
I >
e
P S lH r L ) ( log
: : 0 l n > VI
Dimostrazione
) ) ( ( log : o o + > n S H l r L
) ) ( (
2
o +
>
S H l L
r
ovvero
) ) ( (
2
o +
S H l
M
Ma: quindi
L
r M
L
r = numero di parole di codice di lunghezza L
Ogni messaggio tipico ha una parola di codice; i messaggi atipici,
che non hanno una parola di codice associata, hanno probabilit di
occorrere pari a
I 0 = ) ( P P
e
c.v.d.
Il canale discreto senza memoria (1)

= =
= =
n
i
m
i
i i
y p x p
1 1
1 ) ( ) (
C un dispositivo in grado di associare in ogni istante t con
probabilit P(y | x) un simbolo y dellalfabeto di destinazione
con un simbolo x dellalfabeto sorgente.
_ a
_ a
_ a
_ a
_ a ) ( , ), ( ), ( ) (
) ( , ), ( ), ( ) (
, , ,
, , ,
:
2 1
2 1
2 1
2 1
m
n
m
n
i
y p y p y p Y P
x p x p x p X P
y y y Y
x x x X
Z i t T
/
/
/
/

Il canale discreto senza memoria (2)
'
+
'
= = =
= = =
= = =
=
= =
) | ( ) | ( ) | (
) | ( ) | ( ) | (
) | ( ) | ( ) | (
) (
2 2 1 1
2 2 2 2 22 2 1 21
1 1 1 2 12 1 1 11
n m nm n n n n
m m
m m
ij
x y P p x y P p x y P p
p C
/
6 6 6
/
/
1 ) | (
1 1

= =
= =
m
j
i j
m
j
ij
x y P p
Esempio
0
1
0
1
?
0.143
0.286
0.571
0.143
0.286
0.571
Estensione di un canale
_ a
_ a
N
N
m
N
n
N
Y
X
Y Y Y
\ \ \
, , ,
, , ,
2 1
2 1
/
/
|
=
= =
N
k
i j i i j j i j
k k N N
x y P x x y y P P
1
) | ( ) | ( ) | (
1 1
/ / \ Y
Un canale senza memoria sse:
Informazione mutua
) (
) | (
log
) | (
1
log
) (
1
log ) ; (
i
j i
j i i
j i
x P
y x P
y x P x P
y x I = =
) ( ) (
) , (
log
) (
) (
) (
) | (
log ) ; (
j i
j i
j
j
i
j i
j i
y P x P
y x P
y P
y P
x P
y x P
y x I =
'
+
'
=
Transinformazione
) (
) | (
log ) | ( ) ; (
1
j
i j
m
j
i j i
y P
x y P
x y P Y x I
=
=
) (
) | (
log ) | ( ) ; (
1
i
j i
n
i
j i j
x P
y x P
y x P y X I
=
=
) ( ) (
) , (
log ) , (
) , ( ) ( ) , ( ) ( ) ; (
1 1
1 1
j i
j i
n
i
m
j
j i
m
j
j j
n
i
i i
y P x P
y x P
y x P
y X I y P Y x I x P Y X I

= =
= =
=
= = =
Informazione mutua di sistema:
Capacit di canale
=
= =
=
n
k
k j k
i j
n
i
m
j
i j i
x y P x P
x y P
x y P x P Y X I
1
1 1
) | ( ) (
) | (
log ) | ( ) ( ) ; (
Dipende solo dalle caratteristiche del canale e dalla distribuzione
in ingresso. Ipotesi di canale costante.
) ; ( max Y X I C =
Linformazione mutua max quando la transinformazione
indipendente dalla distribuzione in ingresso.
Equivocazione, Irrilevanza
) | ( X Y H
) , ( Y X H
) (X H
) | ( Y X H
) | ( Y X H
) ; ( Y X I
) (Y H
) | ( X Y H
) , ( Y X H
) ; ( Y X I
equivocazione
irrilevanza
informazione mutua
Lezione 8
4 novembre 2002
Canale binario simmetrico
0
1
0
1
e
p
e
p
e
p 1
e
p 1
Capacit del canale binario simmetrico
) 1 log( ) 1 ( log 1 ) ; ( max
) (
BSC e e e e
X P
p p p p Y X I C + + = =
) 1 log( ) 1 ( log
) 1 log( ) 1 ( log
) | ( ) ( ) ; (
0 0 0 0
BSC
e e e e
p p p p
q q q q
X Y H Y H Y X I
+ +
+ =
= =
e e
p x P p x P y P q ) 1 ( ) 1 )( 0 ( ) 0 (
0
= + = = = =
Capacit del canale binario simmetrico
e
p
BSC
C
0 0.5 1
1
Canale simmetrico a cancellazione
0
1
0
1
e
p
e
p
e
p 1
e
p 1
?
Capacit dei canali simmetrici
? A
.
) | (
1
log ) | ( log
) | (
1
log ) | (
) (
1
log ) ( max
) | (
1
log ) | ( ) (
) (
1
log ) ( max
) | ( ) ( max ) ; ( max
1
1 1
) (
1 1 1
) (
) ( ) (
SC

=
= =
= = =
=
=
=
=
=
= = =
m
j
i j
i j
m
j
i j
i j
m
j
j
j
X P
m
j
n
i
m
j
i j
i j i
j
j
X P
X P X P
x y P
x y P m
x y P
x y P
y P
y P
x y P
x y P x P
y P
y P
X Y H Y H Y X I C
simmetria
Capacit del c.s.c.
e
p
BEC
C
0 0.5 1
1
Canali in cascata
CANALE 1 CANALE 2
X Z Y
i
x
j
y
k
z
Teorema
) ; ( ) ; (
) ; ( ) ; (
Z Y I Z X I
Y X I Z X I
(detto Della Elaborazione dei Dati)

Linformazione mutua non pu aumentare al crescere dei
canali attraversati; semmai pu diminuire.
In successive elaborazioni dei dati,
si pu solo verificare una perdita dinformazione,
mai un guadagno.
Dimostrazione
) | ( ) , | (
j k i j k
y z P x y z P = ) | ( ) , | (
k i k j i
y x P z y x P =
0
) | (
) , | (
log ) , | ( ) , (
) | (
) | (
log ) , , (
) | (
1
log ) , (
) | (
1
log ) , (
) | ( ) | (
> =
= =
= =
=

j k
k i
k j i
k j
i
i k j
i j k
k i
j i
k j i
i j
j i
j i
i k
k i
k i
z x P
z y x P
z y x P z y P
z x P
y x P
z y x P
y x P
y x P
z x P
z x P
Y X H Z X H
diseguaglianza
fondamentale
Probabilit di errore ed equivocazione
Sia
Y X =
(matrice di canale quadrata)
{
= =
j i
j j j i j
y x P y x P y e P ) | ( 1 ) | ( ) | (
? A

= =
= =
n
i
n
i
i i i i i e
y x P y P y e P y P p
1 1
) | ( 1 ) ( ) | ( ) (
? A ? A

= { = =
= =
n
i i j
j i
n
i
n
i
i i i i i i
y x P y x P y P x y P x P
1 1 1
) , ( ) | ( 1 ) ( ) | ( 1 ) (
Si pu dimostrare che la probabilit di errore per il trasmittente
e per il ricevente identica:
Diseguaglianza di Fano
e
e
e
e e
p
p
p
p p H
+
1
1
log ) 1 (
1
log ) (
) 1 log( ) ( ) | ( + n p p H Y X H
e e
equivocazione
probabilit di errore
dove
Lincertezza media su X, se Y noto, al pi lincertezza sul fatto
che sia stato commesso un errore e, in caso affermativo,
lincertezza su quale dei restanti simboli sia stato trasmesso.
Dimostrazione
e
n
i
i i
e
n
i i j
j i
e
e
e
e e e
p
y x P
p
n
y x P
p
p
p
n
p n p p H
=
=
= +

= = {
1
1
log ) , (
1
log ) , (
1
1
log ) 1 (
1
log ) 1 log( ) (
1 1

= = {
= =
+ =
= =
n
i
i i
i i
j i
n
i i j
j i
j i
n
i
n
j
j i
y x P
y x P
y x P
y x P
y x P
y x P Y X H
1 1
1 1
) | (
1
log ) , (
) | (
1
log ) , (
) | (
1
log ) , ( ) | (
1
2
Dimostrazione (segue)
2 1
0 ) , ( ) 1 ( ) , ( 1 ) 1 (
1 2 ln
1
) , (
) | (
) , (
) 1 (
) , (
) | (
) , (
1
2 ln
1
1
) | (
1
) , (
2 ln
1
1
) | ( ) 1 (
) , (
2 ln
1
) | (
1
log ) , (
) | ( ) 1 (
log ) , (
1 1
1 1 1
1 1
1 1
1 1
=
+
'
+
'
=
=
+
+
=
=

= =
= = =
= { = {
= = {
= = {
n
i
i i e
n
i
i i
e
n
i
i i
n
j
n
i
i i
i i
e
n
i i j
n
i i j
j i
j i
j i
e
n
i
i i
e
i i
n
i i j
j i
e
j i
i i
e
n
i
i i
j i
e
n
i i j
j i
y x P p y x P n
n
p
y x P
y x P
y x P
p
y x P
y x P
y x P
n
p
y x P
p
y x P
y x P n
p
y x P
y x P
p
y x P
y x P n
p
y x P
Corollario
) 1 log( ) ( ) | ( + = n p p H Y X H
e e
quando
,
|
=
{
=
j i p
j i
n
p
y x P
e
e
j i
1
1
) | (
Lezione 9
7 novembre 2002
Distanza di Hamming
_ a 1 , 0 = X
=
{ =
l
i
i i H
w v w v d
1
] [ ) , (
l
X w v ,
l
v v v v /
2 1
=
l
w w w w /
2 1
=
2 ) 00101010 , 00101100 ( =
H
d
Esempio:
0 0 1 0 1 1 0 0
0 0 1 0 1 0 1 0
Spazio di Hamming di dimensione n
l
X Spazio di Hamming di dimensione l
_ a 1 , 0 = X
1
0 00
10
01 11
000 100
010 110 010
011
001
101
111
0000 1000
Esempi:
II Teorema di Shannon
Dato un canale discreto senza memoria di capacit C,
a) possibile trasmettere una quantit di informazione H(X)
con probabilit derrore piccola a piacere, a patto che
C X H ) (
b) Se C X H > ) (
comunque codifichiamo i messaggi, sar
0 > >
L e
P p
Dimostrazione di b)
Ipotesi:
Tesi:
C X H > ) (
I + C X H p C X H
e
) ( ) (
C Y X H X H Y X I = ) | ( ) ( ) ; (
) ( ) 1 log( ) ( ) | ( ) ( 0
e e e
p f n p p H Y X H C X H = +
Fano
) 1 log( ) 1 log( ) 1 ( log ) ( + n z z z z z z f
n z f log ) ( 0
0 ) ( ) ( > C X H P f
L
Poniamo
0 ) ( ) ( > >
L e
P f p f
Allora
Grafico di f(z)
n log
) (z f
z
) (
L
P f
L
P
) (
e
p f
e
p
n
n 1
) 1 log( n
1
L e L e
P p P f p f > > ) ( ) (
Dimostrazione di a)
Ipotesi:
Tesi:
I
e
p
C X H ) (
Assumiamo r = 2 senza perdita di generalit
Parole di codice di lunghezza l
l
2
messaggi
) (
1
2
I
=
C l
M
1 ) ( C X H N.B.: bit/simbolo
Usiamo solo parole di codice delle
l
2
Costruiamo un codice a caso e dimostriamo che
I
e
p
Codice casuale
Estraiamo a caso
) (
1
2
I
=
C l
M parole di codice tra le
l
2
Sia
2
1
q la probabilit di errore del canale (per simbolo!)
w
CANALE w
lq w w d E
H
= )] , ( [
Errore
w
w
lq
) , ( d w S
d
) (
2
I + = q l d
2
I l
Volume di una sfera di raggio d
)
=
d k
k
l
d N ) (
In uno spazio di Hamming di dimensione l
numero di parole binarie di lunghezza l che differiscono
da una data parola w (centro) in al pi d posizioni.
...
2
1 ) ( +
'
+
'
+ + =
l
l d N
w
_ a 1 ) ' , ( : ' = w w d w
H
_ a 2 ) ' , ( : " = w w d w
H
Lemma
) (
2
2 ) (
I +
q lH
d N
) (
2
I + = q l d
Dimostrazione:
) (
2
I V + = q V l d = 1 0 V
i)
) ) )
) ( ) 1 (
0
d N
d
d k
k
l
d k
d k
k
l
k
l
k
k
l
l
V V V V V = > > = +

=
ii)
l d
d N ) 1 ( ) ( V V +

? A ) ( ) 1 log( log
2 2 ) 1 (
V V V V
V V
lH l l d
= +
+ +
0 ) 1 log( ) 1 ( ) 1 log(
) 1 log( log ) (
> + =
= + +
V V V
V V V V H
c.v.d.
diseguaglianza
fondamentale
Probabilit di errore per un dato codice
o > = Z ] ) , ( [ )] , ( [ d w w d P d w S w P
H
Per il Teorema dei grandi numeri:
)] , ( [
)] , ( [ )] , ( [
)] , ( ' [ )] , ( [
)] , ( ' [ )] , ( [ )] , ( [
d w S v P
d w S v P d w S w P
d w S w P d w S w P
d w S w P d w S w P d w S w P p
w v
w v
e
+
+ Z
+ Z
+ Z =
{
{
o
Probabilit media di errore
)) ( 1 ( ) (
2 2
2 2
2
) (
)] , ( [
)] , ( [ ) 1 ( )] , ( [
I I
o o
o o
o o
+ +
{
+ = +
+ = +
+ = +

q H l l q lH
l
w v
e
M M
d N
M d w S v P M
d w S v P M d w S v P p
) (
2
2 ) (
I +
q lH
d N
Parole contenute in
) , ( d w S
) (
2
I + = q l d
Conclusione della dimostrazione
? A ) ( ) (
) ( ) ( ) ( 1 ) ( 1
2
2 2
q H q H C
q H q H q H q H
+ =
= + + = +
I
I I
3 2 2 2
) (
1
log ) ( ) ( ' ) ( ) ( I I I I + =
+ = + + q H
q
q
q H q H q H q H
Sviluppiamo in serie di Taylor, ricordando che
q
q
q H

=
1
log ) ( '
3 2
) ( 1 I I > + C q H
Per cui:
I o
o o
I I
I I I
= + =
= + +

+
) (
) ( ) ( )) ( 1 (
3 1
3 1 2
2
2 2 2
l
C l C l q H l
e
M p
c.v.d.
Andamento della probabilit di errore
) ( X H
0
I
e
p
C
C X H ) (
I + C X H ) (

Tinf 1

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Tinf 1

Uploaded by

Copyright:

Available Formats

Andrea G. B.

per la legge dei grandi numeri

(detto Della Elaborazione dei Dati)

You might also like