Vebe 2 - Osnove teorije informacija i kodovanja

Merenje koliine informacije:

Ako je verovatnoda poruke veda, poruka sadri manju koliinu informacije i
obrnuto.
Koliina informacije ili informacioni sadraj poruke x definisan je logaritamskom
funkciom,

gde je

verovatnoda poruke x.

Kada se koristi logaritam sa bazom dva onda se koliina informacija meri u

bitovima.
Primer 1:
Neki izvor informacije alje 4 poruke gde je verovatnoda svake poruke .
Odrediti pojedinane koliine informacije u svakoj poruci i ukupnu koliinu
infromacije sve etiri poruke.

=
=

+
+

+
+

+
+

=
=

= 2 + 2 + 2 + 2 = 8 bita
Ako se koristi binarni kod, poruke se mogu kodovati sa dva bita.
Poruke
M1
M2
M3
M4

Kodovi
00
01
10
11

Entropija
Predstavlja prosenu informaciju koju jedan izvor generie i definisana je izrazom,

bita po jednoj poruci.

Primer 2:
Neki izvor informacije alje 6 poruka sa slededim verovatnoda: P { , , ,
, , }. Odrediti pojedinane koliine informacije u svakoj poruci, ukupnu
koliinu infromacije i entropiju izvora.

= 2 + 2 + 3 + 3 + 3 + 3 = 16 bita
=
= -0.25

=
0.25 - 0.25
0.125

0.25- 0.125
0.125 - 0.125

0.125 - 0.125
0.125- =

= 0.5 + 0.5 + 0.375 + 0.375 + 0.375 + 0.375 = 2.5 bita

Ako se koristi binarni kod, poruke se mogu kodovati sa 3 bita.
Poruke
Kodovi
M1
000
M2
001
M3
010
M4
011
M5
100
M6
101
Primer: M1M4M6M2 = 000011101001 = M1M4M6M2

0.125 -

Entropija binarnog izvora

Ako imamo binarni izvor informacije, izvor koji alje samo dve poruke onda
entropija binarnog izvora zavisi od verovatnoda poruka. Entropija binarnog izvora
definisana je izrazom:

Primer 3:
Binarni izvor informacije generie poruke sa verovatnodom: P { , }. Odrediti
entropiju binarnog izvora.

= -0.75

0.75 0.25

0.25 =

= 0.311 + 0.5 = 0.811 bita

Primer 4:
Binarni izvor informacije generie poruke sa verovatnodom: P { , }. Odrediti
entropiju binarnog izvora.

=
= -0.5

0.5 0.5

= 0.5 + 0.5 = 1 bita

0.5 =

Entropijsko kodovanje
Entropijsko kodovanje je metoda za odreivanje jednoznanog koda minimalne
duina. Minimizovana duina koda omogudide maksimalnu brzinu prenosa
informacije. Ideja je da najverovatnije poruke nose najkradi kod, dok manje
verovatne poruke nose dui kod.
Primer 5:
Neki izvor informacije S generie 6 poruka sa slededim verovatnoda: S {0.49, 0.26,
0.12, 0.04, 0.04, 0.03, 0.02}. Primeniti metodu entropijskog kodovanja za
dobijanje efikasnog koda.

= 2.80 bita
= 1.03 + 1.94 + 3.06 + 4.64 + 4.64 + 5.06 + 5.63 = 26.0 bita
M1|

1| 0.49

0.49

0.49

0.49

0.49

0.51

M2|

00| 0.26

0.26

0.26

0.26

0.26

0.49

M3|

011| 0.12

0.12

0.12

0.13

0.25

M4|01000| 0.04

0.05

0.08

0.12

M5|01001| 0.04

0.04

0.05

M6|01010| 0.03

0.04

M7|01011| 0.02