2-1

2. Informacija
2.1. Entropija i informacija

2.1.1. Izračunati entropije slijedećih pokusa:

a. Bacanja novčića;
b. Bacanja kocke;
c. Bacanja novčića i kocke;
d. Bacanja dvaju kocaka;
e. Zbroja ishoda bacanja dvaju kocaka;
f. Izvlačenja karte iz špila 52 igraće karte;
Rješenje:
a. Bacanje novčića N ima dva moguća ishoda (pismo i glava) s podjednakim
vjerojatnostima PP = 1/2 i PG = 1/2, te je entropija:

n
H X    pi log pi
i 1

HN = -1/2 · ld 1/2 - 1/2 · ld 1/2

HN= 0,5 · 1 + 0,5 · 1 = 1 [b]

b. Bacanje kocke K ima šest mogućih ishoda K = {1,2,3,4,5,6} s podjednakim

vjerojatnostima P1 = P2 = P3 = P4 = P5 = P6 = 1/6, te je entropija:

HK = 6 · (-1/6 · ld 1/6 )

HK = ld 6

log 6 0,77815
ld 6 = = = 2,58496
log 2 0,30103

HK = 2,58496 [b]

c. Bacanje novčića i kocke ima 12 jednako vjerojatnih, mogućih ishoda

NK = {p1,p2,p3,p4,p5,p6,g1,g2,g3,g4,g5,g6}, Pi = 1/12, te je entropija:

HNK = 12 · (-1/12 · ld 1/12 )

HNK = ld 12

HNK = 3,58496 [b]

Zapažamo, da vrijedi HNK = HN + HK

 2-2
d. Bacanje dvaju kocaka ima 36 mogućih, jednako vjerojatnih ishoda

KK = {11,12,13,14,15,16,21,...,64,65,66}, Pi=1/36, te je entropija:

HKK = 36 · (-1/36 · ld 1/36 )

HKK = ld 36

HKK = 5,16992 [b].

Zapažamo, da vrijedi HKK = 2 · HK

e. Zbroj bacanja dvaju kocaka opisan je slučajnom varijablom:

 2 3 4 5 6 7 8 9 10 11 12 
c   
1/ 36 2 / 36 3 / 36 4 / 36 5 / 36 6 / 36 5 / 36 4 / 36 3 / 36 2 / 36 1/ 36

Entropija slučajne varijable c je:

HC=-2·1/36·ld1/36-2·2/36·ld2/36-2·3/36·ld3/36-2·4/36·ld4/36-2·5/36·ld5/36-6/36·ld6/36

HC = 3,274402 [b]

Zapažamo, da je HC << HKK , te da je HC < ld 11 = 3,459432.

f. Izvlačenje karte iz špila od 52 karte ima 52 moguća, jednako vjerojatna ishoda, te

entropija iznosi:

H = ld 52 = 5,70044 [b]

2.1.2. Pokus X je bacanje kocke. Koliko informacije o ishodu bacanja nosi poruka Y:

"Pao je parni broj" ?

Rješenje:

Neizvjesnost ishoda bacanja kocke je:

H[X] = ld 6

H[X] = log 6 / log 2

H[X] = 2,585 [b]

Neizvjesnost o ishodu bacanja X po prijemu navedene vijesti Y iznosi

H[X/Y] = ld 3

H[X/Y] = log 3 / log 2

H[X/Y] = 1,585 [b].

 2-3
Količina informacije što ju je donijela poruka Y je

I[X/Y] = 2,585 - 1,585 = 1 [b].

Do jednakog rezultata možemo doći i drugačijim razmatranjem:

Ishod bacanja kocke može biti paran (2,4,6) ili neparan broj (1,3,5). Kako su
vjerojatnosti obaju ishoda podjednake: PP=PN=3/6=1/2=0,5, to je entropija H = 1 bit. Poruka
koja tu neizvjesnost u potpunosti otklanja - " Pao je paran broj" - sadrži informaciju od 1 bit.

2.1.3. Špil karata ima 52 različite karte. Koliko informacije o nasumično izvučenoj karti nose
različite obavijesti:
a) Karta je crvene boje.
b) Karta je "srce".
c) Karta je "slika".
d) Karta je "dečko".
e) Karta je "dečko, srce".

Rješenje:
U primjeru 2.3.1.f., vidjeli smo da je entropija izvlačenja karte iz špila s 52 karte
H[X]=5,7 bita. Poruke koje, manje - više, otklanjaju tu neizvjesnost nose manju - veću
količinu informacije:

Obavijest Y Preostala neizvjesnost Informacija u obavijesti

Karta je crvene boje.
Karta je "srce".
Karta je "slika".
Karta je "dečko".
Karta je "dečko, srce".
U špilu je 26 crvenih i 26 crnih I[Y] = 5,7 - 4,7 = 1 [b]
karata, te je preostala Crveno ili crno; 1 bit.
neizvjesnost
H[X/Y] = ld 26 = 4,7 [b].
U špilu ima 13 "srca", te je I[Y] = 5,7 - 3,7 = 2 [b]
preostala neizvjesnost Srce, karo, pik, tref; 2 bita.
H[X/Y] = ld 13 = 3,7 [b].
U špilu ima 16 slika (4 x as, I[Y] = 5,7 - 4 = 1,7 [b]
dečko, dama, kralj);
H[X/Y] = ld 16 = 4 [b].
U špilu su 4 dečka; I[Y] = 5,7 - 2 = 3,7 [b]
H[X/Y] = ld 4 = 2 [b].
Nema dileme oko izvučene I[Y] = 5,7 [b].
karte; neizvjesnost je u
potpunosti otklonjena:
H[X/Y]=0
 2-4
2.1.4. Na izlazu kodera informacije dobije se binarni niz. Prosječno, na 1000 binarnih simbola
550 simbola je 0, a 450 simbola je 1. Izračunati vjerojatnosti pojavljivanja simbola 0 i 1: P0 i
P1, količine informacije koju nose pojedinačni binarni simboli: I0, I1, te entropiju binarnog
niza na izlazu kodera H i maksimalnu mogući vrijednost entropije binarnog niz Hmax. U kojem
bi slučaju binarni niz imao maksimalnu entropiju?

Rješenje:
P0 = n0/n = 550/1000 = 0,55 = 55%

P1 = n1/n = 450/1000 = 0,45 = 45%

I(0) = - ld 0,55 = 0, 8625 [b]

I(1) = - ld 0,45 = 1,15201 [b]

H = - P(0) · ld P(0) - P(1) · ld P(1)

H = 0,55 · 0,8625 + 0,45 · 1,15201 = 0,9918 [b]

Hmax = ld 2 = 1 [b]

Maksimalna je entropija kada su vjerojatnosti simbola 0 i 1 podjednake (0,5).

2.1.5. Izvor informacije ima pet mogućih stanja x={xi}, i = 1, 2, 3, 4, 5, s vjerojatnostima

P1=0,3; P2=0,1; P3=0,25; P4=0,2; P5=0,15. Odrediti sadržaj informacije svakog stanja izvora
informacije pojedinačno, te entropiju izvora informacije. Koja je maksimalna moguće
vrijednost entropije?

Rješenje:
Stanja Pi Hi= - ld Pi [b] Pi·Hi
x1 0,3 1,737 0,521
x2 0,1 3,322 0,332
x3 0,25 2 0,5
x4 0,2 2,322 0,464
x5 0,15 2,737 0,411
Ukupno 1 H = 2,228 [b]
Hmax = ld 5 = 2,321928 [b ]