Teorija informacija i komunikacija

Markovljevi izvori
Teorija informacija i komunikacija

U mnogim izvorima informacija simboli nisu statistički nezavisni. Takvi izvori

nazivaju se Markovljevi izvori.
izvori Ako izvor pamti M prethodnih simbola, izvor se
naziva Markovljevim izvorom M-tog reda. DMS je specijalan slučaj Markovljevog
izvora za M = O.

Uobičajeno je da se Markovljev izvor predstavi dijagramom stanja.

Ukoliko su sve verovatnoće u dijagramu stanja različite od 0, izvor je ergodičan

(sve statistike su mu iste po vremenu i po ansamblu). Ergodičnost se može
definisati i kao osobina izvora na čijem se izlazu verovatnoća pojedinih podnizova
simbola ne menja protokom vremena.

Može se pokazati da je izvor ergodičan kad god se iz svakog stanja može stići u
svako stanje u nekom broju koraka; drugim rečima, ako postoji kružna tura kojom
se bar jednom prolazi kroz sva stanja, izvor je ergodičan.

Markovljevi izvori
Teorija informacija i komunikacija

P[0/00]

00
P[0/10] P[1/00]

P[0/01]

01 10

P[1/10]

P[0/11] P[1/01]
11

P[1/11]

Primer Binarni Markovljev izvor drugog reda

Teorija informacija i komunikacija

Neka je

U STANJE
skup svih mogućih stanja Markovljevog izvora. Može se formirati matrica prelaza
ovih stanja

IZ STANJA

Ukoliko elementi matrice [P] ne zavise od vremena, Markovljev izvor je stacionaran.

stacionaran

Markovljevi izvori
Teorija informacija i komunikacija

Za regularne izvore se iz svakog početnog stanja (ukoliko mu je verovatnoća različita od

nule) može stići u svako drugo u svakom broju koraka koji je veći od i, pa je zato svaki
regularni izvor ergodičan.

OBRNUTO NE VAŽI!

Markovljevi izvori
Teorija informacija i komunikacija

NAPOMENA

Markovljevi izvori
Teorija informacija i komunikacija

Osnovna teorema o regularnim Markovljevim izvorima

Teorija informacija i komunikacija

Dakle, za velike vrednosti i verovatnoća prelaska nekog regularnog

Markovljevog izvora iz jednog stanja u drugo nakon i koraka ne zavisi od i.

Osnovna teorema o regularnim Markovljevim izvorima

Teorija informacija i komunikacija

Osnovna teorema o Markovljevim izvorima

Teorija informacija i komunikacija

Entropija Markovljevih izvora

Teorija informacija i komunikacija

Entropija Markovljevih izvora

Teorija informacija i komunikacija

Entropija Markovljevih izvora

Teorija informacija i komunikacija

Entropija Markovljevih izvora

Teorija informacija i komunikacija

Teoreme
Teorija informacija i komunikacija

Jezik kao izvor informacija

Teorija informacija i komunikacija

Uzmimo za primer srpski jezik.

Broj glasova (fonema): 30
Broj slova: 31 (ćirilica), 27 (latinica) (Uračunat razmak _ )

U stvarnosti, svaki jezik, pa i naš, ima neuniformnu raspodelu verovatnoća

pojavljivanja pojedinih simbola, a pored toga simboli su u većoj ili manjoj meri
međusobno korelisani, pa je stvarna entropija jezika H(S) uvek manja od
H(S)max. Informaciona suvišnost (redundansa) jezika je

Jezik kao izvor informacija

Teorija informacija i komunikacija

REDNI SLOVO VEROVATNOĆA PARCIJALNA

BROJ ai POJAVLJIVANJA ENTROPIJA

1 _ 0.16295 0.427
2 А 0.10064 0.333
3 И 0.08024 0.292
4 О 0.07943 0.290
5 Е 0.07880 0.289
6 Н 0.04918 0.214
7 С 0.04204 0.192
8 Р 0.04121 0.191
9 Т 0.03785 0.179
10 У 0.03535 0.170

Primer Verovatnoće pojedinih ćirilicom napisanih slova

Teorija informacija i komunikacija

REDNI SLOVO VEROVATNOĆA PARCIJALNA

BROJ ai POJAVLJIVANJA ENTROPIJA

11 Д 0.03247 0.161
12 В 0.03067 0.154
13 К 0.03028 0.153
14 М 0.02751 0.143
15 Ј 0.02739 0.142
16 П 0.02404 0.129
17 Л 0.02393 0.129
18 З 0.01556 0.093
19 Г 0.01507 0.091
20 Б 0.01121 0.073

Primer Verovatnoće pojedinih ćirilicom napisanih slova

Teorija informacija i komunikacija

REDNI SLOVO VEROVATNOĆA PARCIJALNA

BROJ ai POJAVLJIVANJA ENTROPIJA

21 Ч 0.00902 0.061
22 Ш 0.00881 0.060
23 Ц 0.00652 0.047
24 Њ 0.00611 0.045
25 Х 0.00573 0.042
26 Ћ 0.00520 0.039
27 Љ 0.00402 0.032
28 Ж 0.00385 0.031
29 Ф 0.00224 0.020
30 Ђ 0.00221 0.019
31 Џ 0.00018 0.002

Primer Verovatnoće pojedinih ćirilicom napisanih slova

Teorija informacija i komunikacija

Stoga je

entropija Markovljevog izvora ukoliko se pretpostavi da je on DMS

(Markovljev izvor nultog reda)

Ispisivanjem verovatnoće dobijanja digrama, trigrama, itd. Dobija se sledeća

tabela

Jezik kao izvor informacija

 Teorija informacija i komunikacija

Predavanja Grafika

Prof. dr Vojin Šenk Branislav Popović