Definicija izvora

Diskretni izvor informacije

Izvor bez memorije

Markovljev izvor
IZVOR INFORMACIJE
Definicija izvora

Izlaz iz DMS je slučajna promenljiva a, koja uzima realizacije iz konačnog

alfabeta A = {a1, a2, . . . , ar} , sa verovatnoćama

P [ai], i = 1,2, . . . , r.

Simboli iz A pojavljuju se na izlazu iz DMS nekim (slučajnim) redosledom, pri

čemu vremenski intervali između pojavljivanja simbola mogu biti konstantni ili
promenljivi.

DMS – diskretni izvor bez memorije

Definicija izvora

Kako je emitovanje znakova u datom izvoru informacija određen proces

koji se zbiva tokom vremena na slučajan način, pogodno je definisati
diskretan izvor informacija kao određeni stohastički proces {Xt : t ϵ T} sa
diskretnim parametarskim skupom T={1,2, …} i skupom vrednosti A.

Oznaka

p(X1=a1, X2=a2, … Xn=an) ≥ 0

Ukazuje na verovatnoću da izvor emituje simbol a1 u momentu t1,...

Ako za svako n ϵ N važi

p(Xk+1=a1, Xk+2=a2, … Xk+n=an) = p(X1=a1, X2=a2, … Xn=an) = p(a1, a2, …, an)

kaže se da je izvor stacionaran.

Verovatnoća emitovanja određene poruke ista je u bilo kom vremenu.
Definicija izvora

Realni kontinualni izvori informacija imaju konačnu i ograničenu

srednju snagu

pri čemu amplitudski opseg ne mora biti ograničen.

Izvor bez memorije

Ako je:

p(a1 , a2 ,..., an ) p(a1 ) p(a2 )... p(an1 ) p(an )

p(an /( a1 , a2 ,..., an1 ))    p ( an )
p(a1 , a2 ,..., an 1 ) p(a1 ) p(a2 )... p(an1 )
uslovna verovatnoća da se u n-tom momentu emituje simbol an uz
uslov da su prethodno emitovani simboli

a1 , a2 ,..., an1
jednaka je bezuslovnoj verovatnoći p(an).

Takav izvor se zove izvor bez memorije - jer je emitovanje signala u

sadašnjem momentu stohastički nezavisno od prethodno emitovanih
simbola.
Markovljev izvor

Verovatnoća p(a1 , a2 ,..., an ) da se emituje n-člani niz (a1 , a2 ,..., an )

ϵ An može se dobiti u obliku

p(a1 , a2 ,..., an )  p(a1 ) p(a2 / a1 )... p(an / an1 )

Tako opisani diskretni izvor informacija zove se Markovljev izvor
informacija.

Ako je n>2 dobijamo:

p(a1 , a2 ,..., an1 , an )
p(an /( a1 , a2 ,..., an1 ))   p(an / an1 )
p(a1 , a2 ,..., an1 )
To znači da verovatnoća emitovanja nekog simbola an zavisi samo od
prethodno emitovanog simbola an-1.

Kaže se da ovakav izvor ima memoriju prvog reda, dok se za izvor

bez memorije kaže da ima memoriju nultog reda.
Teorema

Teorema

Kombinujmo dva najmanje verovatna izvorna simbola u jedan

zajednički veštački simbol, i formirajmo optimalni prefiksni kod C'
za tako dobijeni ekvivalentni izvor. Dodavanjem 0 i 1 na kodnu
reč koja predstavlja dotični kombinovani simbol dobija se kod C
za orginalni izvor. C je optimalan kod.

Optimalni prefiksni kod za sažimanje podataka

. UVOD U TEORIJU INFORMACIJA . O p t i m a l n i kodovi

Algoritam

BEGIN
Sortiraj u stek sve simbole iz A po rastućim verovatnoćama;
REPEAT
Uzmi dva gornja simbola sa steka;
Spoj ta dva simbola u jedan;
Stavi novi simbol u stek umesto ranija dva;
Sortiraj stek po rastućim verovatnoćama;
UNTIL Ostao sarno jedan simbol;
REPEAT
Uzmi prvi kompozitni simbol od vrha steka naniže,
i raspakuj ga;
Kodnoj reči koja predstavlja taj kompozitni simbol dodaj 0 i 1 i tako formiraj
kodnu reč za svaki od dva raspakovana simbola;
Usortiraj ta dva raspakovana simbola, zajedno sa njima pridruženim kodnim
rečima u stek po
rastućim vrednostima verovatnoće;
UNTIL Nema više kompozitnih simbola;
END.

D. A. Huffman, [1952]
. UVOD U TEORIJU INFORMACIJA . H a f m a n o v algoritam
UVOD U TEORIJU INFORMACIJA

Literatura

Prof. dr Vojin Šenk