Professional Documents
Culture Documents
Informacione Mere - Entropija PDF
Informacione Mere - Entropija PDF
gde je
verovatnoda poruke x.
=
=
+
+
+
+
+
+
=
=
= 2 + 2 + 2 + 2 = 8 bita
Ako se koristi binarni kod, poruke se mogu kodovati sa dva bita.
Poruke
M1
M2
M3
M4
Kodovi
00
01
10
11
Entropija
Predstavlja prosenu informaciju koju jedan izvor generie i definisana je izrazom,
= 2 + 2 + 3 + 3 + 3 + 3 = 16 bita
=
= -0.25
=
0.25 - 0.25
0.125
0.25- 0.125
0.125 - 0.125
0.125 - 0.125
0.125- =
0.125 -
Primer 3:
Binarni izvor informacije generie poruke sa verovatnodom: P { , }. Odrediti
entropiju binarnog izvora.
= -0.75
0.75 0.25
0.25 =
=
= -0.5
0.5 0.5
0.5 =
Entropijsko kodovanje
Entropijsko kodovanje je metoda za odreivanje jednoznanog koda minimalne
duina. Minimizovana duina koda omogudide maksimalnu brzinu prenosa
informacije. Ideja je da najverovatnije poruke nose najkradi kod, dok manje
verovatne poruke nose dui kod.
Primer 5:
Neki izvor informacije S generie 6 poruka sa slededim verovatnoda: S {0.49, 0.26,
0.12, 0.04, 0.04, 0.03, 0.02}. Primeniti metodu entropijskog kodovanja za
dobijanje efikasnog koda.
= 2.80 bita
= 1.03 + 1.94 + 3.06 + 4.64 + 4.64 + 5.06 + 5.63 = 26.0 bita
M1|
1| 0.49
0.49
0.49
0.49
0.49
0.51
M2|
00| 0.26
0.26
0.26
0.26
0.26
0.49
M3|
011| 0.12
0.12
0.12
0.13
0.25
M4|01000| 0.04
0.05
0.08
0.12
M5|01001| 0.04
0.04
0.05
M6|01010| 0.03
0.04
M7|01011| 0.02