TEORIJA INFORMACIJE

eljko Jerievi, dr. sc.

Zavod za raunarstvo, Tehniki fakultet &
Zavod za biologiju i medicinsku genetiku, Medicinski fakultet
51000 Rijeka, Croatia
Phone: (+385) 51-651 594
E-mail: zeljko.jericevic@riteh.hr
http://www.riteh.uniri.hr/~zeljkoj/Zeljko_Jericevic.html
 Teorija informacije
Prijenos informacije iz izvora u odredite:
to bre
to tonije
to manje utroene energije
Usprkost smetnjama
Prikrivanje i zatita od zluporabe
 Teorija informacije
Kodiranje i kompresija svih vrsta sadraja (tekst,
govor, glazba, video)
Prijenos sadraja komunikacijskim kanalom u uvjetima
smetnji
Pohrana sadraja u kompresnoj i/ili zatienoj formi
 Information theory

Shannonov model komunikacijskog sustava.

U praksi se ugavnom susreemo s diskretnim sustavima.
 Teorija informacije
Poruka je niz simbola odabranih iz abecede, gdje je
abeceda X konani skup od n simbola:
X = {x1, x2,,xi,,xn}
Poruke nastaju na izvoru uzastopnim biranjem simbola
iz abecede. Svaki simbol xi pri N-tom biranju ima
neku vjerojatnost pN(xi) da bude odabran
xi pN(xi)
Vjerojatnosti pojavljivanja simbola odreene su
karakteristikama izvora
 Information theory
Jednostavan sluaj: vjerojatnost pojavljivanja svakog
simbola se ne mijenja i neovisna je o prethodnim
simbolima u poruci
 Teorija informacije
Temeljni problem komunikacije: poruku generirana na
izvoru tono ili aproksimativno reproducirati na
odreditu.
U idealnom sluaju poruka na izvoru i odreditu je ista.
U openitom sluaju, zbog smetnji u komunikacijskom
kanalu na odreditu se pojavljuje neka druga poruka.
Iz poruke na odreditu moemo s odreenom sigurnou
(manjom od 100%) odrediti koja je bila poruka na
izvoru.
 Teorija informacije
Poruka na odreditu je niz simbola odabranih iz
abecede, gdje je abeceda Y konani skup od m
simbola:
Y = {y1, y2,,yi,,ym}
Na izvoru je izabran simbol xi, a na odreditu je
primljen simbol yj iz kojeg elimo tono odrediti xi na
izvoru. U tu svrhu moramo poznavati statistika
svojstva komunikacijskog sustava, tj znamo
vjerojatnosti pojavljivanja yj uzrokovane s xi. To su
uvjetne vjerojatnosti p(yj|xi)
Information theory
Information theory
 Teorija informacije
Poeljno je da:
m=n
p(yi|xi) 1.0
p(yj|xi) 0.0 j i
Information theory
 Informacijska entropija H
I
H = p i ln 2 p i
i =1

lim p ln 2 p = 0
p 0

p i je vjerojatnost stanja i
2009.05.28 Zeljko Jericevic, Ph.D. 13
 Informacijska entropija H
Informacijska entropija ima sljedea svojstva:

Minimalna entropija je nula minH=0

Maksimalna entropija je maxH=log2(broj moguih stanja)
Entropija je uvijek pozitivnaje H=[0,maxH] jer su
vjerojatnosti p iz zatvorenog intervala [0,maxH]

2009.05.28 Zeljko Jericevic, Ph.D. 14

 Informacijska entropija H
We draw a card at random from a pack of 52 and
consider the
following events:
(i) the card is a heart (E1),
(ii) the card is a seven (E2),
(iii) the card is the seven of hearts (E1 E2).

2009.05.28 Zeljko Jericevic, Ph.D. 15

 Informacijska entropija H
P(E1) = 1/4, P(E2 ) = 1/13, P(E1 E2) = 1/52
Note that E1 and E2 are independent events. From
our above discussion, we have:
(a) I (E1 E2) I (E2) I (E1).

2009.05.28 Zeljko Jericevic, Ph.D. 16

 Informacijska entropija H
Our intuition tells that the amount of information I
(E1 E2) that we get from learning (iii) is the sum
of the information content of E1 and E2; that is, if
E1 and E2 are independent, we have:
(b) I (E1 E2) = I (E1) + I (E2).
Together with (a) and (b) we will impose the
commonsense condition that there is no such thing
as negative information, that is:
(c) I (E) 0 for all E S.
2009.05.28 Zeljko Jericevic, Ph.D. 17
 Informacijska entropija H
We now look for a candidate for a function which
satisfies (a), (b) and (c). In fact, it can be shown that
the only possibilities are of the form
I (E) = K loga(P (E))

For information entropy, K=1 & a=2

2009.05.28 Zeljko Jericevic, Ph.D. 18

 Information theory
Entropija
bacanja
ispravnog
novia je
1 bit
 Information theory
Kompliciraniji eksperiment bacanja ispravnog
novia:
Ako je pismo, sekvenca se prekida, ako je glava,
sekvenca se nastavlja, napr:
X={p, gp, ggp, gggp, ggggp, }
Odredi entropiju svih sekvenci u skupu X
 Information theory
dogadaj i simbol xi vjerojatnost, p ( xi )
p x0 0.5
( 0.5) = 0.25
2
gp x0
( 0.5) = 0.125
3
ggp x0
( 0.5) = 0.0625
4
gggp x0
L
 Information theory
i i
1 1
H ( X ) = p ( xi ) log 2 p ( xi ) = log 2
i =1 i =1 2 2
i i i 1
1 1 1 1 1
= i log 2 = i = i
i =1 2 2 i =1 2 2 i =1 2

1
Upotrebom jednakosti: x = i
uz x < 1.0
i =0 1- x
i i 1 1

x = ix = = ix i 1

x i =0 (1- x ) i =1
2
i =0

1 1
H (X ) = 2
= 2 bita
2 1
1
2
 Poisson distribution
Poisson distribution is a discrete probability distribution that
expresses the probability of a number of events occurring in a
fixed period of time if these events occur with a known average
rate and independently of the time since the last event. The
Poisson distribution can also be used for the number of events in
other specified intervals such as distance, area or volume.
From Wikipedia

k e ocekivana vrijednost
p(k ; ) =
k! k broj k-tih ishoda
23
 Primjer
Primjer upotrebe Poisson-ove raspodjele:
Greka zapisa je 1 u 2. Za poruku duine 100 znakova
izraunaj vjerojatnosti za 0, 1, 2 i 3 prekida u poruci

24
 Primjer
Primjer upotrebe Poisson-ove raspodjele:
Greka zapisa je 1 u 2. Za poruku duine 100 znakova
izraunaj vjerojatnosti za 0, 1, 2 i 3 prekida u poruci

k e 100 / 2
p(k ; ) =
k! k broj k-tih ishoda
( 50 ) e 50
0

p (0;50) = = 1.9 1022

0!
( 50 ) e 50
1

p (1;50) = = 9.6 1021

1! 25
 Primjer
Vjerojatnost da poruka od 100 znakova moe proi kroz
ovakav kanal bez greke u zapisu je 1.910-22. To je
ekstremno lo kanal s vjerojatnosti greke 50% za svaki
simbol.

26
 Information theory
Neodreenost (?),
entropija (H), i
informacija (I) u
razliitim
momentima
nastajanja i
prijenosa poruke
Informacijska entropija H
Entropija je mjera prosjene neodreenosti koji e
simbol biti odabran na izvoru. Ako moemo tono
predviditi koji e simbol biti izabran, H=0 kao kod
novia koji ima dvije iste strane. Ako je novi
ispravan, H=1bit ili jedna elementarna neodreenost.

2009.05.28 Zeljko Jericevic, Ph.D. 28

 Information theory
Kodiranje je postupak dodjeljivanja kodnih rijeci
(kodova) simbolima poruke
Svrha je pretvorba poruke u oblik koji ima neka bolja
svojstva
U praksi se koriste binarne abecede za kodiranje
 Information theory
Za opis i razumjevanje komunikacijskog kanala sa
smetnjama potrebno je razumijevanje vjerojatnosti,
uvjetne vjerojatnosti i zdruene vjerojatnosti pojave
simbola
 Information theory
Apriorne vjerojatnosti pojavljivanja simbola iz jednog
skupa p(xi) i p(yj) su neovisne o pojavljivanju simbola iz
drugog skupa.
Aposteriorne vjerojatnosti pojavljivanja simbola su
uvjetne vjerojatnosti odreene nakon analize
relevantnih dokaza.
aposteriorna ~ priorna uvjetna
 Aposteriorna vjerojatnost
Binarni izvor alje dva znaka, X={a,b} s vjerojatnostima
p(a)=0.4 i p(b)=0.6
Zbog uma u kanalu, 50% znakova a dolazi kao znak A.
Ako za neki znak na odreditu jedino moemo sa
sigurnou odrediti da je stiglo malo slovo kolika je
vjerojatnost da je stiglo slovo a, i kolika je vjerojatnost
da je stiglo slovo b?
 Aposteriorna vjerojatnost
Binarni izvor, X={a,b}
p(a)=0.4 je apriori vjerojatnost da izvor alje znak a, bez
obzira na druge informacije
p(b)=p(a)= 0.6 je apriori vjerojatnost da izvor alje znak
b, bez obzira na druge informacije
p(malo|a) je uvjetna vjerojatnost oitanja za malo slovo
na odreditu kad je na izvoru a, (malo given a) u ovom
sluaju p(malo|a)=0.5
p(malo|b) je uvjetna vjerojatnost oitanja za malo slovo
na odreditu kad je na izvoru b, (malo given b) u ovom
sluaju p(malo|b)=1.0
 Aposteriorna vjerojatnost
Binarni izvor, X={a,b}
p(malo), ili vjerojatnost da e se na odreditu oitati malo
slovo, bez obzira na druge informacije
p(malo)=p(malo|a)p(a)+p(malo|b)p(b)=0.50.4 + 10.6=0.8

p(a|malo)=p(malo|a)p(a)/p(malo)=(0.50.4)/0.8=0.25 je
aposteriori vjerojatnost da je na izvoru poslan znak a,
ako smo na odreditu oitali malo slovo

p(b|malo)=p(malo|b)p(b)/p(malo)=(1.00.6)/0.8=0.75 je
aposteriori vjerojatnost da je na izvoru poslan znak b,
ako smo na odreditu oitali malo slovo
 Information theory
Gledano s izvora imamo vjerojatnosti prelaza xi u yj
odnosno uvjetna vjerojatnost p(yj|xi) (y given x)
Gledano s odredita, imamo unazadnu vjerojatnost
prelaza yj u xi odnosno uvjetovanu vjerojatnost p(xi|yj)
(x given y)
 Information theory

Zdruene vjerojatnosti
pojave simbola p(xi ,yj ) se
koriste kod istovremenog
promatranja ulaza i
izlaza. Zdruene
vjerojatnosti obino
prikazujemo kao matricu
 Information theory

Na ulazu, potpuni opis daju

apriorne vrijednosti na
ulazu i vjerojatnosti
prijelaza (uvjetne
vjerojatnosti y|x).
 Information theory

Na izlazu, potpuni opis daju

apriorne vrijednosti na
izlazu i unazadne
vjerojatnosti prijelaza
(aposteriorne
vjerojatnosti x|y).
 Information theory

Istovremeno s ulaza i
izlaza, zdruene
vjerojatnosti x,y daju
potpuni opis sustava
 Information theory

Matematicki opis Znacenje

p ( x ) = p ( y ) = 1.0
n m

i j Skup simbola na ulazu i izlazu je potpun

i=1 j=1

p ( xi ) = p ( xi , y j ) , p ( y j ) = p ( xi , y j )
m n
Vjerojatnost simbola je zbroj vjerojatnosti parova
j=1 i=1

p ( xi y j ) = p ( xi ) p ( y j | xi ) = p ( y j ) p ( xi | y j , ) Pogled s ulaza, izlaza, oboje

p ( xi , y j ) p ( xi , y j ) p ( xi ) p ( y j | xi )
p ( xi | y j , ) = = = apriorna u aposteriornu vjerojatnost pojave xi
p( yj )
p(x , y ) p(x ) p( y | xi )
n n

i j i j
i=1 i=1
 Information theory

p ( x ) = p ( y ) = 1.0
n m

i j
i=1 j=1
Skup simbola na ulazu i izlazu je potpun
 Information theory

p ( xi ) = p ( xi , y j )
m

j=1

p ( y j ) = p ( xi , y j )
n

i=1
Vjerojatnost pojave simbola je zbroj vjerojatnosti
pojava svih parova u kojima se taj simbol
pojavljuje.
 Information theory

p ( xi ) p ( y j | xi ) = p ( y j ) p ( xi | y j ) = p ( xi , y j )

Veza izmedu tri naina potpunog opisa sustava:

pogled s ulaza, pogled s izlaza ili istovremeno
 Information theory
p ( xi , y j ) p ( xi , y j )
p ( xi | y j , ) = =
p( yj )
p(x , y )
n

i j
i=1

p ( xi ) p ( y j | xi )
=
p(x ) p( y | xi )
n

i j
i=1

Prijelaz iz apriorne u aposteriornu vjerojatnost

pojave xi
 Information theory
Tri poruke sa simbolima X={a,b,c} su poslate
komunikacijskim kanalom s vjerojatnostima
p(a)=p(b)=2p(c)
Matrica uvjetnih vjerojatnosti je:

0.7 0.1 0.2

p ( y j | xi ) = 0.2 0.7 0.1

0.1 0.2 0.7
 Information theory
Nacrtaj graf prijelaza u kanalu
Odredi vjerojatnosti pojave pojedinog simbola na
odreditu
Information theory
 Information theory
Iz uvjeta:
p(a)=p(b)=2p(c)
p(a)+p(b)+p(c)=1
Sljedi:
p(a)=p(b)=0.4 p(c)=0.2
 Information theory
Vjerojatnost pojave pojedinog simbola na odreditu
odredujemo iz matrice zdruenih vjerojatnosti:
0.28 0.04 0.08
p ( xi , y j ) = p ( xi ) p ( y j | xi ) = 0.08 0.28 0.04

0.02 0.04 0.14

p ( y j ) = p ( xi , y j )
3
(zbroj elemenata u istoj koloni)
1

p ( y1 ) = 0.38 p ( y2 ) = 0.36 p ( y3 ) = 0.26

 Information theory
Vjerojatnosti su osnova informacijskog opisa sustava
 Information theory
Informacijske mjere za opis informacijskog sustava
Vlastite H(X) Entropija na ulazu sustava
entropije H(Y) Entropija na izlazu sustava
H(X,Y) Zdruena entropija (ili entropija
para sluajnih varijabli)
Uvjetne H(Y|X) Entropija uma, irelevantnost
entropije H(X|Y) Ekvivokacija, mnogoznanost

I(X;Y) Srednji uzajamni sadraj

informacije, transinformacija
 Information theory
Entropija na ulazu:
n
H ( X ) = p ( xi ) log 2 p ( xi )
i =1

Entropija na izlazu

H (Y ) = p ( y j ) log 2 p ( y j )
n

j =1
 Information theory
Zdruena entropija kada zajedniki promatramo
dogaaje na ulazu i izlazu kao parove simbola (xi,yj):

H ( X , Y ) = p ( xi , y j ) log 2 p ( xi , y j )
n m

i =1 j =1

to je zdruena entropija para sluajnih varijabli.

 Information theory
Uvjetna entropija H(Y|X) je prosjena vrijednost
entropije sluajne varijable Y uz poznati X. Prosjek se
uzima po svim vrijednostima varijable X
n
H ( X | Y ) = p ( xi ) H (Y | x = xi )
i =1

= p ( xi ) p ( y j | xi ) log 2 p ( y j | xi )
n m

i =1 j =1

= p ( xi , y j ) log 2 p ( y j | xi )
n m

i =1 j =1
 Information theory
Drugi nain gledanja na uvjetnu entropiju H(Y|X) je
prosjena neodreenost sluajne varijable Y nakon to
je poznata varijabla X. Prije nego to je varijabla X bila
poznata, entropija varijable Y je H(Y). Uz pretpostavku
da X utjee na Y, nakon to je X poznat, entropija Y
postaje H(Y|X).
Kao to smo ve spomenuli, prenos informacija moemo
gledati sa ulaza ili sa izlaza. Pogled s ulaza daje
entropiju uma ili irelvantnost H(Y|X), a pogled sa izlaza
daje mnogoznanost ili ekvivokaciju H(X|Y).
 Information theory
Entropija uma ili irelevantnost je neodreenost koji e se
simbol pojaviti na izlazu
 Information theory
Mnogoznanost ili ekvivokacija je posljedica injenice da
je simbol na izlazu mogao biti uzrokovan razliitim
simbolima na ulazu.
 Information theory
Srednji uzajamni sadraj informacije i relativna entropija.
Relativna entropija DKL(p||q) izmeu dvaju razdioba vjerojatnosti
(p(X) i q(X)) sluajne varijable X je mjera divergencije (Kullback
Leibler divergence) izmeu spomenutih razdioba. Budui da
DKL(p||q) DKL(q||p) nije matematiki ispravno zvati DKL
udaljenou, kao to je uobiajeno.

n
p ( xi )
DKL ( p || q ) = p ( xi ) log 2
i =1 q ( xi )
 Information theory
Relativna entropija DKL(p||q) moe posluiti kao mjera
neuinkovitosti kodiranja zbog pogrene procijene
razdiobe vjerojatnosti q(X) umijesto ispravne razdiobe
p(X). Zbog pogrene procjene u prosjeku e se potroiti
DKL(p||q) vie bitova po simbolu nego to je potrebno na
osnovu entropije stvarne raspodjele p(X). L (cross
entropy) je prosjeni broj bitova po simbolu uz
koritenje raspodjele q :
n n n
p ( xi )
L ( p, q ) = p ( xi ) log 2 q ( xi ) = p ( xi ) log 2 p ( xi ) + p ( xi ) log 2
i =1 i =1 i =1 q ( xi )
= H ( X ) + DKL ( p || q )
 Information theory
Uzajamni sadraj informacije I(X;Y) (transinformacija)
izmeu sluajnih varijabli X i Y je relativna entropija
izmeu razdiobe njihovih zdruenih vjerojatnosti i
razdiobe umnoaka njihovih pojedinanih vjerojatnosti:

p ( xi , y j )
I ( X , Y ) = p ( xi , y j ) log 2
n m

i =1 j =1 p ( xi ) p ( y j )
 Information theory
Uzajamni sadraj informacije I(X;Y) (transinformacija)
izraava mjeru koliko informacije jedna varijabla sadri
o drugoj.
Ako su varijable potpuno neovisne, I(X;Y) = 0 jer p(xi,yj) =
p(xi)p(yj)

p ( xi , y j )
I ( X , Y ) = p ( xi , y j ) log 2
n m

i =1 j =1 p ( xi ) p ( y j )
 Information theory
Uzajamni sadraj informacije I(X;Y) (transinformacija)
izraava mjeru koliko informacije jedna varijabla sadri
o drugoj.
Ako su varijable jednake, I(X;Y) = H(X) = H(Y) jer jednu
varijablu moemo u potpunosti opisati drugom:
p(xi,yj) = p(xi) = p(yj) za i=j
p(xi,yj) = 0 za ij
 Information theory
Entropija i uzajamni sadraj informacije:
I(X;Y) = H(X) H(X|Y)
je smanjenje neodreenosti (entropije) varijable X
uzrokovano poznavanjem varijable Y.
Vrijedi i obrnuto:
I(Y;X) = H(Y) H(Y|X)
Simetrija uzajamnog sadraja informacije dviju varijabli:
I(X;Y) = I(Y;X)
 Information theory
Entropija H(X), zdruena entropija H(X,Y) i uvjetna
entropija H(Y|X) bazira se na definiciji zdruene
entropije i odnosa vjerojatnosti: p(x,y)=p(x)p(y|x)

H ( X , Y ) = p ( xi , y j ) log 2 p ( xi , y j ) = p ( xi , y j ) log 2 p ( xi ) p ( yi | x j )
n m n m

i =1 j =1 i =1 j =1

= p ( xi , y j ) log 2 p ( xi ) p ( xi , y j ) log 2 p ( y j | xi )
n m n m

i =1 j =1 i =1 j =1

= p ( xi ) log 2 p ( xi ) p ( xi , y j ) log 2 p ( y j | xi )
n n m

i =1 i =1 j =1

= H ( X ) + H (Y | X )
 Information theory
Zdruena entropija H(X,Y), para varijabli jednaka je
zbroju entropije jedne varijable H(X) i preostale
entropija druge varijable uz uvjet da je prva varijabla
poznata H(Y|X).
Iz toga proizlazi da je uzajamni sadraj informacije I(X;Y)
jednak:
I(X;Y) = H(X) + H(Y) - H(X,Y)
Gdje je H(X,Y) korekcija entropije u sluaju ovisnih
varijabli
 Information theory
Odnosi informacijskih mjera: Zdruene entropije H(X,Y),
entropija H(X) i H(Y), uvjetnih entropija H(X|Y) i
H(Y|X), i uzajamnog sadraja informacije I(X;Y) i I(Y;X)
 Information theory
Odnos i svojstva informacijskih mjera

1 I(X;Y) = H(X) - H(X|Y) Uzajamni sadraj

informacije
2 I(X;Y) = H(Y) - H(Y|X) poznavanje jedne
varijable smanjuje
neodreenost druge
varijable
3 I(X;Y) = H(Y) + H(Y) - H(Y,X) Korekcija za iznos
uzajamnog sadraja
informacije
 Information theory
Odnos i svojstva informacijskih mjera

4 H(X,Y) = H(X) - H(Y|X) Zdruena entropija

para varijabli
5 H(X,Y) = H(Y) - H(X|Y) jednaka je zbroju
entropije jedne
varijable i uvjetne
entropije druge
varijable
 Information theory
Odnos i svojstva informacijskih mjera

6 I(X;Y) = I(Y;X) Simetrija uzajamnog sadraja

informacije
7 I(X;X) = H(X) Vlastiti sadraj informacije
(entropija)

8 I(X;Y) 0 Jedna varijabla moe nositi

informaciju o drugoj
 Information theory
Odnos i svojstva informacijskih mjera

9 H(X|Y) H(X) Poznavanje jedne varijable moe

smanjiti neodreenost druge
varijable
 Information theory
Tri poruke sa simbolima X={a,b,c} su poslate
komunikacijskim kanalom s vjerojatnostima
p(a)=p(b)=2p(c)
Matrica uvjetnih vjerojatnosti je:

0.7 0.1 0.2

p ( y j | xi ) = 0.2 0.7 0.1

0.1 0.2 0.7
 Information theory
Odredi entropiju ulaznog i izlaznog skupa simbola H(X)
i H(Y)
Odredi uvjetne entropije H(X|Y) i H(Y|X)
Odredi uzajamni sadraj informacije I(X;Y)
Odredi zdruenu entropiju para varijabli H(X,Y)
 Information theory
Odredi entropiju ulaznog i izlaznog skupa simbola H(X)
i H(Y)

3
H ( X ) = p ( xi ) log 2 p ( xi ) = ?
i =1
 Information theory
Vjerojatnost pojave pojedinog simbola na odreditu
odredujemo iz matrice zdruenih vjerojatnosti:
0.28 0.04 0.08
p ( xi , y j ) = p ( xi ) p ( y j | xi ) = 0.08 0.28 0.04

0.02 0.04 0.14

p ( y j ) = p ( xi , y j )
3
(zbroj elemenata u istoj koloni)
1

p ( y1 ) = 0.38 p ( y2 ) = 0.36 p ( y3 ) = 0.26

 Information theory
Odredi entropiju ulaznog i izlaznog skupa simbola H(X)
i H(Y)

3
H ( X ) = p ( xi ) log 2 p ( xi )
i =1

= ( 2 0.4 log 2 ( 0.4 ) + 0.2 log 2 ( 0.2 ) ) = 1.522 [ bits/simbol]

3
H ( X ) = p ( yi ) log 2 p ( yi )
i =1

= ( 0.38 log 2 ( 0.38 ) + 0.36 log 2 ( 0.26 ) + 0.26 log 2 ( 0.36 ) ) = 1.566 [ bits/simbol]
 Information theory
Odredi uvjetne entropije H(X|Y) i H(Y|X)

H ( X | Y ) = p ( xi , y j ) log 2 p ( xi | y j ) = ?
3 3

i =1 j =1
 Information theory
Odredi uvjetne entropije H(X|Y) i H(Y|X)
H ( X | Y ) = p ( xi , y j ) log 2 p ( xi | y j ) = ?
3 3

i =1 j =1

0.28 0.04 0.08

p ( xi , y j )
p ( xi | y j ) = p ( xi , y j ) = 0.08 0.28 0.04
p( yj )
0.02 0.04 0.14
0.28 0.04 0.08
0.38 0.36 0.26 0.7368 0.1111
0.3077
0.04
p ( xi | y j ) = 0.1538
0.08 0.28
0.38 = 0.2105 0.778
036 0.26
0.0526 0.1111 0.5385
0.02 0.04 0.14
0.38 0.36 0.26
H ( X | Y ) = 1.124 [ bits/simbol ] H (Y | X ) = 1.157 [ bits/simbol ]
 Information theory
Odredi uzajamni sadraj informacije I(X;Y)

I ( X ; Y ) = H ( X ) H (Y | X ) = ?
p ( xi , y j )
I ( X ; Y ) = p ( xi , y j ) log
3 3
=?
i =1 j =1 p ( xi ) p ( y j )
 Information theory
Odredi uzajamni sadraj informacije I(X;Y)

I ( X ; Y ) = H ( X ) H ( X | Y ) = 1.522 1.124 = 0.409

I (Y ; X ) = H (Y ) H (Y | X ) = 1.566 1.157 = 0.409
p ( xi , y j )
I ( X ; Y ) = p ( xi , y j ) log
3 3
=?
i =1 j =1 p ( xi ) p ( y j )
 Information theory
Odredi zdruenu entropiju para varijabli H(X,Y)

H ( X , Y ) = H ( X ) + H (Y ) I (Y ; X ) = ?
H ( X , Y ) = 1.522 + 1.566 0.409 = 2.679
 Information theory
Gubitak
informacije
usljed
mnogoznanosti
H(X|Y) i
neodreenosti
zbog uma
H(Y|X). Rezultat
je ne-efikasnost
kanala
 Information theory
Koliina informacije
koja se prenosi
kanalom ovisi o
karakteristikama
kanala (matrici
prijenosnih
vjerojatnosti
p(yi|xi)) i o
karakteristikama
ulaza
(vjerojatnostima
pojava simbola na
ulazu) p(xi)).
 Information theory
Kapacitet kanala C je maksimalna transinformacija I(X;Y)
preko svih razdioba pojave simbola na ulazu:

C = max I ( X ; Y ) [ bit/simbol]
{ p ( xi )}
C je koliina informacija koja bi se mogla prenjeti kod
idealne razdiobe vjerojatnosti pojave simbola na ulazu.
Maksimalna koliina informacije koja se u prosjeku moe
prenjeti kanalom.
 Information theory
Kanal kapaciteta C i poruka entropije H na ulazu:
H C moemo postii kodiranje da se informacija prenosi
s proizvoljno malom uestalosti pogreke
H > C moemo kodirati tako da mnogoznanost H(X|Y)
bude manja od H-C+, gdje je proizvoljno mala
veliina.
Nemogue je postii metodu kodiranja kojom bi se postigla
mnogoznanost manja od H-C
 Information theory
Mnogoznanost, entropija i kapacitet kanala
 Primjeri
Na ulazu binarnog simetrinog kanala pojavljuju se simboli X={0,1}
s jednakim vjerojatnostima od 0.5
Matrica uvjetnih vjerojatnosti p(Y|X) prijelaza u kanalu ( je
vjerojatnost pogrenog prelaza):

1
p ( yi | xi ) =
1
Odredite entropiju ulaznog i izlaznog skupa signala te zdruenu
entropiju
10 February 2012 Zeljko Jericevic, Ph.D. 86
 Primjeri
Odredite entropiju ulaznog i izlaznog skupa signala

1
p ( yi | xi ) =
1
n
H ( X ) = p ( xi ) log 2 p ( xi ) = ?
1
10 February 2012 Zeljko Jericevic, Ph.D. 87
 Primjeri
Odredite entropiju ulaznog i izlaznog skupa signala te
zdruenu entropiju
1
p ( yi | xi ) =
1
n
H ( X ) = p ( xi ) log 2 p ( xi ) = 2 0.5log 2 ( 0.5 ) = 1
1

0.5 (1 ) 0.5
p ( xi , y j ) = p ( xi ) p ( y j | xi ) =
0.5 0.5 (1 )

p ( y1 ) = 0.5 (1 ) + 0.5 = 0.5 p ( y2 ) = 0.5 + 0.5 (1 ) = 0.5
n
H (Y ) = p ( yi ) log 2 p ( yi ) = 2 0.5log 2 ( 0.5 ) = 1
1 88
 Primjeri
Odredite zdruenu entropiju

1
p ( y j | xi ) =

1
0.5 (1 ) 0.5
p ( xi , y j ) = p ( xi ) p ( y j | xi ) =
0.5 0.5 (1 )

H ( X , Y ) = p ( xi , y j ) log 2 p ( xi , y j ) = ?
n m

i =1 j =1

10 February 2012 Zeljko Jericevic, Ph.D. 89

 Primjeri
Odredite zdruenu entropiju
1
p ( y j | xi ) =

1
0.5 (1 ) 0.5
p ( xi , y j ) = p ( xi ) p ( y j | xi ) =
0.5 0.5 (1 )

H ( X , Y ) = p ( xi , y j ) log 2 p ( xi , y j )
n m

i =1 j =1

= 2 0.5 (1 ) log 2 ( 0.5 (1 ) ) + 0.5 log 2 ( 0.5 )

= (1 ) log 2 ( 0.5 (1 ) ) + ( 1 + log 2 ( ) )
= (1 ) + (1 ) log 2 (1 ) + log 2 ( )
= 1 (1 ) log 2 (1 ) log 2 ( )
90
 Primjeri
Odredite srednji uzajamni sadraj informacije
(transinformaciju) izmedu ulaznog i izlaznog skupa
simbola I(X;Y)

0.5 (1 ) 0.5
p ( xi , y j ) = p ( xi ) p ( y j | xi ) =
0.5 0.5 ( )
1

p ( xi , y j )
I ( X , Y ) = p ( xi , y j ) log 2
n m
=?
i =1 j =1 p ( xi ) p ( y j )

10 February 2012 Zeljko Jericevic, Ph.D. 91

 Primjeri
Za komunikacijski kanal na slici treba nai uvjete kod
kojih H(X)=H(Y) uz p(xi)=1 i pg0

2009.05.28 Zeljko Jericevic, Ph.D. 92

 Primjeri
Za komunikacijski kanal na slici treba nai uvjete kod
kojih H(X)=H(Y) uz p(xi)=1 i pg0
1 p(x )
0 0 1 0 0

p ( y j | xi ) = 0 1 pg p g
p ( y j , xi ) = 0 p ( x2 ) (1 pg ) p ( x2 ) pg

0 1 pg
pg 0
p ( x3 ) pg p ( x3 ) (1 pg )

p ( y j ) = p ( y j , xi )
3
p ( y1 ) = p ( x1 )
i =1

p ( y2 ) = p ( x2 ) +pg ( p ( x3 ) p ( x2 ) )
p ( y3 ) = p ( x3 ) + pg ( p ( x2 ) p ( x3 ) )
H ( X ) = H (Y )
3 3
p ( xi ) log 2 ( xi ) = p ( yi ) log 2 ( yi )
i =1 i =1

p ( x2 ) = p ( x3 )
93
Rijesenje:
 Primjeri
Na digitalnom sklopu za prikaz
simbola (7-segmenata) svi
simboli [0-9] pojavljuju se s
jednakom vjerojatnou. Tri
gornje oznake vie ne rade.
Izraunajte prosjenu
entropiju po jednom prikazu
na 7-segmentnom indikatoru
prije i poslje kvara.

10 February 2012 Zeljko Jericevic, Ph.D. 94

 Primjeri
Na digitalnom sklopu za prikaz
simbola (7-segmenata) svi
simboli [0-9] pojavljuju se s
jednakom vjerojatnou. Tri
gornje oznake vie ne rade.
Izraunajte prosjenu
entropiju po jednom prikazu
na 7-segmentnom indikatoru
prije i poslje kvara.
H(X)=log2(10)=3.322
10 February 2012 Zeljko Jericevic, Ph.D. 95
 Primjeri
Problem moemo tretirati kao kanal sa
smetnjama u kojem se 10 znakova na
izvoru pojavljuje kao 6 znakova na
odreditu.
Koraci:
Matrica uvjetnih vjerojatnosti
Matrica zdruenih vjerojatnosti

10 February 2012 Zeljko Jericevic, Ph.D. 96

 Primjeri
Matrica uvjetnih vjerojatnosti
Matrica zdruenih vjerojatnosti
1 0 0 0 0 0
0 1 0 0 0 0

0 0 1 0 0 0

0 0 0 1 0 0
0 0 0 0 1 0
p ( y j | xi ) = 0
0 0 1 0 0
0 0 0 0 0 1

0 1 0 0 0 0
0 0 0 0 0 1

0 0 0 1 0 0
1
p ( y j , xi ) = p ( xi ) p ( y j | xi ) = p( y j | xi ) 97
10
 Primjeri
Matrica zdruenih vjerojatnosti

p ( xi , y j ) = p ( xi ) p( y j | xi ) = p( y j | xi )
1
10
p ( y j ) = p ( xi , y j )
9

i =0

Y = {0.1, 0.2, 0.1, 0.3, 0.1, 0.2}

H (Y ) = 2.446

H ( X , Y ) = p ( xi , y j ) log 2 p ( xi , y j )
n m
n = 9; m = 5
i =0 j =0

H ( X ,Y ) = ?
2009.05.28 Zeljko Jericevic, Ph.D. 98