Teorija informacija i kodova

Trei as
3.1. Asimptotska ekviparticiona osobina i tipike sekvence
Definicija 3.1.1 Niz X 1 , X 2 ,..., X n konvergira u vjerovatnoi, ako P[ X n X ] 1 za svako
n n0 . Postoje i drugi oblici konvergencije (za nas manje bitni).
Primjer 3.1.1. Neka je X i niz sluajnih promjenljivih i neka:
1 n
Sn X i
n i 1
je srednja vrijednost ovog niza. Neka je tana srednja vrijednost ovog niza S . Tada:
P S n S 0 kada n
Jednostavnije, ovo se moe rei da S n S u vjerovatnoi.
Jedan od naina da kvantifikujemo kako stiemo do konvergencije (brzinu konvergencije) je u
smislu Markovljeve relacije, koja za pozitivnu sluajnu promjenljivu i 0
P X E X /
Odavde se moe zapisati Chebyshev-ljeva nejednakost za sluajnu promjenljivu Y sa srednjom
vrijednou i varijansom 2
P Y 2 / 2
Sada moemo da dokaemo sljedeu teoremu.
Teorema 3.1.1. Neka su X 1 , X 2 ,..., X n nezavisne sluajne promjenljive sa istom funkcijom gustine
raspodjele p ( x) . Tada:
1
log p X 1 , X 2 ,..., X n H ( X )
n
po vjerovatnoi.
Dokaz. Kako su X i nezavisne sluajne promjenljive sa istom gustinom raspodjele, isto vai i za
log p ( X i ) . Odavde slijedi:
1
1 n
log p X 1 , X 2 ,..., X n log p X i
n
n i 1
Sada moemo primijeniti osobinu da srednja vrijednost odbiraka konvergira u vjerovatnoi ka
srednjoj vrijednosti ansambla:
1 n
log p X i E log p ( X ) H ( X )
n i 1
nH ( X )
ime je dokaz zavren. Odavde dalje slijedi: p ( x1 , x2 ,..., xn ) 2
to se naziva asimptotskom
ekviparticionom osobinom.
Primjer 3.1.2. Posmatrajmo
n

X 0,1

sa

p (1) p

p (0) q . Vjerovatnoa sekvence

X i n X i
X 1 , X 2 ,..., X n je:
p i1 q i1 . Posmatrajmo sljedei sluaj q=0.7 i p=0.3 posmatrajmo n 10 i
vjerovatnoe sljedeih dogaaja:

Niz
0000000000
0000000001
0000000011
0000000111
0000001111
0000011111
0000111111
0001111111
0011111111
0111111111
1111111111

Vjerovatnoa
0.0282
0.0121
0.005
0.0022
0.00095
0.0004
0.00017
0.000075
0.000032
0.0000138
0.0000059

Broj kombinacija
1
10
45
120
210
252
210
120
45
10
1

Ukupna vjerovatnoa
0.0282
0.121
0.225
0.264
0.1995
0.1008
0.036
0.009
0.00144
0.000138
0.0000059

Jasno je da svih 2n poruka nema istu vjerovatnou. Uoljivo je da one sekvence koje imaju
priblino np jedinica imaju najveu totalnu vjerovatnou. Ovdje se vidi da je to za onu sekvencu
koja sadri 3 jedinice. To se moe smatrati tipinom sekvencom. Kolika je vjerovatnoa dogaaja
p X 1 , X 2 ,..., X n ? Iz prethodne prie slijedi da je to blisko 2 nH () sa velikom vjerovatnoom. U
prethodnom primjeru moe se rei da su najvjerovatnije one sekvence koje imaju np jedinica i sve
su takve sekvence jednako vjerovatne. To je prosto zakon velikih brojeva.
Skup sekvenci koje se pojavljuju najee nazivaju se tipine sekvence.
(n)
n
Definicija 3.1.2. Tipian skup A u odnosu na p ( x) je skup sekvenci x1 , x2 ,..., xn koje
zadovoljavaju sljedeu osobinu:

2 n ( H ( X ) ) p ( x1 , x2 ,..., xn ) 2 n ( H ( X ) )
Dakle, tipina sekvenca se pojavljuje sa vjerovatnoom priblino jednakom 2 nH ( X ) .
Posmatrajmo primjer 3.1.2. H ( X ) 0.8819 i nH ( X ) 8.819 . Tada je 2 nH ( X ) 0.00223 . Ovo je
oigledno veoma blisko vjerovatnoi pojedinanog dogaaja da se pojave tri jedinice.
Tipini skup ima osobine definisane sljedeom teoremom.
(n)
Teorema 3.1.2. 1. Ako je ( x1 , x2 ,..., xn ) A tada H ( X ) log p( x1 , x2 ,..., xn ) / n H ( X )
(n)
2. Pr A 1 za n dovoljno veliko.
( n)
n ( H ( X ) )
3. A 2
, gdje ||A|| oznaava broj elemenata u skupu.
( n)
n ( H ( X ) )
4. A (1 )2
za n dovoljno veliko.

Tumaenje teoreme. Po (1) skoro svi elementi u tipinom skupu su skoro jednako vjerovatni. Po
(2) tipini set se pojavljuje sa vjerovatnoom koja je bliska 1. Po (3) i (4) broj elemenata u tipinom
skupu je blizu 2nH .
Definicija 3.1.3 Oznaka an B bn znai:
1
an
lim
log
0
n
n
bn
3 n 1
3n
Ova notacija se moe primijeniti za sekvence an e
i bn e , kao i an e3n
4n
3n
moe na an e i bn e .

3n
i bn e , ali ne

Ovu emo oznaku koristiti da bi razmatrali jednu vanu karakteristiku tipine sekvence. Dakle,
uoili smo da je tipina sekvenca mali skup koji daje veliku vjerovatnou, ali nije jasno da li je to
najmanju takav skup. Sada emo pokazati da bilo koji skup sa velikom vjerovatnoom mora imati
znaajno preklapanje sa tipinom sekvencom.
2

(n)
n
(n)
Definicija 3.1.4. Neka je skup B zadovoljava Pr B 1 . Ovakav se skup naziva
visokovjerovatnim.

Teorema 3.1.3. Neka su X i sluajne promjenljive sa funkcijom raspodjele p ( x) . Za 1/ 2 i

(n)
neko ' 0 ako je Pr B 1 ' tada
1
log B( n ) H '
n
(n)
za n dovoljno veliko. Dakle, B mora sadrati najmanje 2nH elemenata do prvog reda u
(n)
eksponentu. Vidjeli smo da A sadri oko 2nH elemenata. Dakle, ovaj skup je reda veliine istog
(n)
(n)
( n)
nH
broja lanova kao i B , B B A B 2 .

Na primjer, posmatrajmo skup sa binarnim dogaajima, gdje je vjerovatnoa jedinice 0.9 sa n 10

(n)
ponavljanja. Skup A sadri one dogaaje, gdje se 1 pojavljuje 9 puta, ali ne sadri pojedinano
(n)
najvjerovatniji dogaaj da skup sadri samo jedinice. Skup B e ukljuiti sve najvjerovatnije
sekvence, ukljuujui i onu koja sadri sve jedinice.
3.2 Entropijski odnosi
Vidjeli smo da entropija n uzastopnih dogaaja sa istom raspodjelom tei nH ( X ) . Nezavisni
sluajni dogaaji sa istom raspodjelom se esto oznaavaju i.i.d. Entropijski odnosi nam
omoguavaju razmatranje entropije za niz sluajnih promjenljivih koje nijesu nezavisne. Naime,
nezavisni i na isti nain distribuirani procesi nijesu dobar model za realne poruke.
Definicija 3.2.1. Entropijski odnos za stohastiki proces X i definie se kao:
1
H ( ) lim
H ( X 1 , X 2 ,..., X n )
n
n
pod pretpostavkom da postoji granina vrijednost.
Slina veliina se moe usvojiti za uslovnu entropiju:
1
H '( ) lim
H ( X n | X n 1 , X n 2 ,..., X 1 )
n
n
Ovo su sutinski dva razliita koncepta koji za i.i.d. sekvence vode ka istom.
Teorema 3.2.1. Za stacionarni proces H ( X n | X n 1 , X n 2 ,..., X 1 ) je opadajua funkcija od n i ima
graninu vrijednost H '( ) .
Teorema 3.2.2. Za neki stacionarni proces dvije definicije entropije postoje (konvergiraju) i
meusobno su jednake:
H '( ) H ( )
Na osnovu ovoga se moe (ovdje bez dokaza) zapisati generalizacija AEP teoreme da za niz
sluajnih promjenljivih sa identinom funkcijom rasodjele (ali ne i nuno nezavisnih) vai:
1
log p ( X 1 , X 2 ,..., X n ) H ( )
n

Na osnovu ove generalizacije mogue je definisati tipinu sekvencu i odrediti broj tipinih sekvenci
(priblino 2nH ( ) svaka sa vjerovatnoom 2 nH ( ) ). Za predstavljanje ove sekvence je neophodno
priblino nH ( ) .
Alternativni nain da se razmatra entropija za proces, koji nije i.i.d. je preko odgovarajueg
p ( si | si1 , si2 ,...., sim ) .
Markovljevog
modela
i
uslovanih
vjerovatnoa
Neka
je:
I ( si | si1 , si2 ,...., sim ) log p ( si | si1 , si2 ,...., sim ). Uslovna entropija raunata po alfabetu S preko
simbola si se definie kao:
H ( S | si1 , si2 ,...., sim ) p ( si | si1 , si2 ,...., sim ) log 2 p ( si | si1 , si2 ,...., sim ).
S

Uvodei vjerovatnou stanja si1 , si2 ,...., sim , kao p ( si1 , si2 ,...., sim ) entropija Markovljevog procesa se
moe definisati kao:
H ( S ) p( si1 , si2 ,...., sim )H ( si | si1 , si2 ,...., sim )
S

H ( S ) p (si1 , si2 ,...., sim ) p (si | si1 , si2 ,...., sim ) log p (si | si1 , si2 ,...., sim )
Sm

Kako vai: p ( si1 , si2 ,...., sim ) p( si | si1 , si2 ,...., sim ) p ( si1 , si2 ,...., sim ) entropija se moe izraziti kao:
H ( S ) p ( si1 , si2 ,...., sim ) log p ( si | si1 , si2 ,...., sim )
S m1

Da bi se odredila entropija Markovljevog izvora potrebno je nai stacionarne vjerovatnoe za svako

stanje Markovljevog procesa. Ovo je teko poznavati unaprijed. Postoji koncept pridruenih sistema
kojim se moe izvriti procjena Markovljevog izvora. Da bi upotrebu ovih sistema ilustrovali
posmatrajmo Markovljevov proces prvog reda (kod procesa vieg reda samo se mijenja notacija). U
ovom sluaju sutinski imamo rad sa dvije sluajne promjenljive pa formiramo vjerovatnoe
p ( si ), p ( s j ) i zdruenu p ( s j , si ) . Vae relacije j p ( s j , si ) p ( si ) pi i i p ( s j , si ) p ( s j ) p j .
Poimo od relacije (ovo slijedi na osnovu osobine meusobne informacije):
p ( si ) p ( s j )
0
p ( s j , si )

p( s , s ) log
j

S2

Jednakost vai samo kada je p ( s j , si ) p( s j ) p ( si ) ( si i s j su nezavisne sluajne promjenljive).

Koristei izraz za uslovnu vjerovatnou p ( s j , si ) p ( si | s j ) p( s j ) dobija se:

p( s , s ) log
S2

p ( si ) / p ( si | s j ) 0

Dalje vai:
p ( s j , si ) log p ( si ) / p ( si | s j ) p ( s j , si ) log p ( si )
S2

S2

Korienjem uslovnih raspodjela slijedi:

p( s j ) p ( si | s j ) log p ( si | s j ) p ( si ) log p ( si ) H ( S )
j

gdje je H ( S ) entropija sistema originalnih simbola koju emo zvati pridrueni sistem. Dakle, moe
se pisati da je:

 p(s ) H (S | s ) H (S )
j

pa je entropija Markovljevog sistema ogrniena entropijom pridruenog sistema, koja se dobija za

sisteme sa nultom memorijom i izvornim alfabetom p ( si ) pi . Jednakost vai za p ( s j , si ) p j pi .
Dakle, ogranienja mogu samo da smanje entropiju. Nije teko pokazati da za n simbola
Markovljevog koda vai ogranienje da je njegova entropija manja od nH ( S ) .
3.3 Kompresija podataka uvodna razmatranja
Osnovni smisao asimptotske ekviparticione osobine je da pokae mogunost kompresije podataka.
Vidjeli smo da se tipina sekvenca pojavljuje veinom vremena za veliko n . Znamo da ASCII kod
daje istu duinu podatka za svaki od elemenata skupa. Ako bismo elemente (sekvence) koje se esto
pojavljuju zamijenili sa manjim brojem bita, a one koje se pojavljuju veoma rijetko sa velikim
brojem bita, ostvarili bismo kompresiju. Ovdje se moe donekle iskoristiti princip tipine sekvence.
Naime, vidjeli smo da elemenata u tipinoj sekvenci ima manje ili jednako 2 n ( H ( X ) ) . Svaka od
ovih sekvenci se moe kodirati sa n( H ) 1 bita. Pretpostavimo da svakoj tipinoj sekvenci
dodamo po jedan bit kao prefiks da bi se znalo da je to tipina sekvenca (npr. 0), to znai da se
svaki element u tipinoj sekvenci kodira sa n( H ) 2 bita. Svaka sekvenca koja nije u tipinom
skupu se moe kodirati sa ne vie od n log 1 bita i ako joj dodamo prefiks 1, dobili smo koder
svih sekvenci u skupi . Naravno, ovo je samo gruba shema, ali moe da poslui kao dobar
primjer kako semoe komprimovati sistem na osnovu tipine sekvence. Oznaka x n podrazumijeva
sekvencu (niz) ( x1 , x2 ,..., xn ) .
n

Teorema 3.3.1. Neka je X n sekvenca sa nezavisnim promjenljivima sa istom raspodjelom i neka je

0 . Tada postoji kodiranje koje preslikava sekvencu x n u binarni niz tako da je preslikavanje 1
na 1 (kodiranje bez gubitaka) i da prosjena duina koda zadovoljava:
1
n
n l ( X ) H ( X )
na n dovoljno veliko.
Kompresijom podataka u cilju umanjivanja redundancije e se u naim razmatranjima baviti koder
ili koder izvora. Koder je ureaj koji vri preslikavijanje ulaznog alfabeta u skup kodnih simbola.
Podtrazumjevaemo da su ulazni alfabet i skup kodnih simbola konani (ponekad se kae diskretni)
odnosno, da imaju konaan broj elemenata. Kod je preslikavanje niza simbola ulaznog alfabeta u
niz kodnih simbola.
Definicija 3.3.1. Izvorni kod za sluajnu promjenljivu X je preslikavanje iz * u D * skup
stringova sa konanom duinom za D -arni alfabet. Neka C ( x ) predstavlja kodnu rije koja
odgovara x i neka l ( x ) oznaava duinu kodne sekvence kojom je kodirana rije x .
Definicija 3.3.2. Kod se naziva singularnim ako se dva simbola ulaznog alfabeta preslikavaju u
istu kodnu rije. Ovakvi kodovi se ne mogu jednoznano dekodirati (preslikati iz skupa kodnih
simbola u polazni alfabet).
Primjer 3.3.1. Kod (kodno pravilo) dat tabelom je singularan
S
X

1
0

s2
01

s3
11

s4
01

Primjer 3.3.2. Neka je D, D {0,1} i neka je { crvena, plava, zelena, crna i ljubiasta } . Neka
je kod C(crvena)=1, C(plava)=11, C(zelena)=0, C(crna)=01, C(ljubiasta)=10. Pretpostavimo da
5

imamo sekvencu simbola "zelena crvena crna ljubiasta " koja je kodirana sa 010110. Da li se ova
sekvenca moe jedinstveno dekodirati na prijemniku?
Prethodni kod predstavlja primjer nesingularnog koda koji nije jednoznano dekodabilan. Znai
nesingularnost je potreban ali ne i dovoljan uslov za jednoznano dekodiranje.
Primjer 3.3.3.
Neka je X sluajna promjenljiva sa sljedeom distribucijom i kodom
P ( X 1) 1/ 2 ,
C (1) 0 ,
P ( X 2) 1/ 4 ,
C (2) 10 ,
P ( X 3) 1/ 8 ,
C (3) 110 i
P ( X 4) 1/ 8 , C (4) 111 . Entropija ove sekvence je 1.75. Toliko je jednaka i prosjena duina
kodne rijei. Ova se sekvenca moe na jedinstven nain dekodirati.
Primjer 3.3.4. P ( X 1) 1/ 2 kodna rije C (1) 0 , P ( X 2) 1/ 4 kodna rije C (2) 0 ,
P ( X 3) 1/ 8 kodna rije C (3) 11 , P ( X 4) 1/ 8 kodna rije C (4) 111. Ne moe se
razlikovati kod X 1 i X 2 .
Definicaja 3.3.2. Za kodnu rije se kae je nesingularna, ako se svaka rije u X preslikava u
razliito D *, tj. ako je xi x j da je C ( xi ) C ( x j ) .
Definicija 3.3.3. Proirenje koda C * koda C je preslikavanje stringa konane duine iz u string
konane duine iz D , C ( x1 x2 ...xn ) C ( x1 )C ( x2 )...C ( xn ) gdje je na desnoj strani izraza oznaeno
nadovezivanje stringova.
Primjer 3.3.5. Ako je C ( x1 ) 00 i C ( x2 ) 11 tada je C ( x1 x2 ) 0011 .
Definicija 3.3.4. Za kod se kae da se moe na jedinstveni nain dekodirati, ako mu se na
jedinstveni nain moe dekodirati proirenje C * .
Grubo reeno, ako imamo string koji sadri kodne rijei mi bi morali da znamo gdje koja kodna
rije poinje i zavrava. Recimo, sekvenca iz prvog primjera ne zadovoljava ovaj uslov. Na primjer
0110 moe biti tumaena kao {crna, ljubiasta}, {zelena, plava, zelena}. Postoje i takvi kodovi koji
se mogu na jedinstveni nain dekodirati, ali da bi se izvrilo dekodiranje dekoder mora da gleda i
unaprijed i unazad da bi odredio jedinstvenu sekvencu. U cilju pojednostavljenja hardvera dekodera
treba ovakve situacije izbjegavati koliko je god to mogue.
Definicija 3.3.5. Kod se naziva prefiksim ili trenutnim ako nijedana kodna rije nije prefiks
nijedne druge kodne rijei. Ovakvi kodovi se mogu dekodirati bez gledanja unazad.
Primjer 3.3.6. Naredna tabela prikazuje tri razliita koda za sluajnu promjenljivu X :
X
1
2
3
4

Kod 1
0
010
01
10

Kod 2
10
00
11
110

Kod3
0
10
110
111

Pogledajmo primjer koda 2: Ako su prva dva bita 11 trebamo pogledati naredni bit i ako je 1 onda je
to poetak nove kodne rijei, a ako je 0 onda je to kraj tekue kodne rijei ili poetak kodne rijei
00. Suprotno tome kod 3 nema ovaj problem. Ovaj kod se naziva i koma kod jer 0 predstavlja kraj
kodne rijei ili se do kraja kodne rijei stie nakon tri bita. ta se deava kod koda 1?
Teorema 3.3.2. Trenutni kod definisan na alfabetu veliine D sa kodnim rijeima l1 , l2 ,..., lm mora
zadovoljavati:
m

li

i 1

Dokaz. Pretpostavimo da je kod kreiran kao kodno stablo, gdje je put od korjena do listova kodna
sekvenca i neka svaki list eliminie prethodne vorove kao mogue vorove (to znai da prefiks
6

posmatranom kodu ne moe biti kodni simbol). Neka je lmax duina najdue kodne rijei. Kodne
rijei na nivou li ima D lmax li potomaka na nivou lmax . Ovo znai da kodna rije na nivou li eliminie
D lmax li kodnih rijei na niim nivoima. Ukupan broj listova na nivou lmax je D lmax . Sumirajui sve
eliminisane kodne rijei dobijamo:
m

lmax li

D lmax

i 1

Odavde slijedi da:

m

li

i 1

3.4. Grayov kod

Napravimo malu digresiju u odnosu na ostatak prie i uvedimo prvi kod koji nema neke velike veze
sa ostalim kodovima koji e biti uvedeni u ovom kursu, ali zbog njegove upotrebljivosti bie ovdje
definisan. To je Grayov kod, koji pripada klasi specijalnih kodova. Polazi od posmatranja nekog
stanja reprezentovanog binarnim stanjima. Svaka promjena datog stanja treba da se reprezentuje sa
jednom promjenom bita u binarnom stringu. Ovo je veoma pogodno za praenje promjena koje se
dogaaju kod kontinualnih varijabli, koje su diskretizovane i pretvorene u binarni zapis. Ne postoji
jedinstvena strategija za realizaciju ovog koda (osim kod duina kodne rijei 2 i 3) i ovdje emo
demonstrirati jednu moguu strategiju. Najee se prvi bit u sekvenci ostavi isti. Zatim se svaki
sljedei kodira kao ai ai 1 gdje je operator ekskluzivno ili. Tako se sada 7 i 8 kodiraju umjesto
0111 i 1000 kao 0100 i 1100, odnosno razlikuju se za samo jedan bit. 4-bitni kod je sada
Standardni
Grayov
Standardni
Grayov

0000
0000
1011
1110

0001
0001
1100
1010

0010
0011
1101
1011

0011
0010
1110
1001

0100
0110
1111
1010

0101
0111

0110
0101

0111
0100

1000
1100

1001
1101

1010
1111

Operacija ekskluzivno ili nad bitovima e se u narednim koracima esto koristiti, pa emo je od
sada na dalje oznaavati prosto sa + vodei rauna da nije u pitaju ili ve ekskluzivno ili operacija.
3.5. Optimalni kodovi
Pod optimalnim kodom podrazumijevamo onaj sa najmanjom prosjenom duinom koda. To se
tretira kao sljedei optimizacioni problem: pronai kod sa duinama kodne rijei l1, l2, .., lm takav da
je prosjena duina kodne rijei:
L li pi
i

to je mogue manja. Cilj je minimizacija prethodnog izraza pod uslovom da je zadovoljena

Kraftova nejednakost:
m

li

i 1

Da bi se podjednostavilo razmatranje pretpostavimo sljedee: (a) duine kodnih rijei ne moraju biti
cijeli brojevi (ovo je radi simplifikacije, a nije stvarna situacija) (b) Izraz na lijevoj strani Kraftove
nejednakosti je jednak jedan (vai nejednakost). To dalje moemo da posmatramo kao Lagrange-ve
mnoioce:

J pi l

li

Uzmimo izvode po duinama koda i izjednaimo sa nulom:

J
l
p j D j log D 0
l j
D

l j

pj

log D

Zamjenom izraza u ogrnienje dobijamo:

pi

log D 1 log D p

D li

Dalje se dobija da je optimalna duina koda li log D pi , pa je minimalna prosjena duina kodne
rijei:
*
L* li pi H D ( X )
*

gdje je H D ( X ) entropija kod koje je uzet logaritam sa osnovom D. U praksi dva uvedena
ogranienja ne vae pa smo na ovaj nain identifikovali donju granicu.

Vjebe za trei nastavni as:

3.1. Dokai teoremu 3.1.2.
1
Rjeenje: 1. Uzmimo log 2 od definicije tipinog skupa:
n

1
1
1
n H X log p ( x1 , x2 ,..., xn ) n H X
n
n
n
2. Po definiciji tipinog skupa, po asimptotskoj ekviparticionoj osobini i definiciji konvergencije po
vjerovatnoama slijedi:

Pr(( X 1 , X 2 ,..., X n ) ( X 1 , X 2 ,..., X n ) A( n ) ) 1 kada n

Tada za bilo koje 0 postoji , takvo da za svako n n0 vai:
1

Pr log p( X 1 ,..., X n ) H ( X ) 1
n

Postavimo i dobili smo (2) teoreme.

3. Jasno je da vai:
1

(n)

p ( x)

p( x)

x A( n )

x A( n )

2 n ( H ( X ) ) 2 n ( H ( X ) ) A( n )

(n)
4. Za dovoljno veliko n , Pr A 1 tako:

1 Pr A( n )

x A( n )

2 n ( H ( X ) ) 2 n ( H ( X ) ) A( n )
8

3.2. Dokaite teoremu 3.2.2.

Dokaz. Da bi dokazali predmetnu teoremu prvo dokaimo teoremu o carskoj sredini, koja kae
n
ako an a i bn i 1 ai tada bn a . Ideja je da ako je an blisko a to znai da srednja vrijednost
prvih n brojeva u nizu tei takoe a stoga to su prvi elementi sve manje i manje vani u srednjoj
vrijednosti velikog broja elemenata.
Dokaz. Poto an a to znai da za neko 0 postoji N ( ) tako da za n N ( ) an a . Ovo
je definicija konvergencije. Dakle:
bn a

1 n
1
ai a

n i 1
n

a
i 1

Posljednja relacija slijedi na osnovu poznate nejednakosti trougla:

1
n

i a

i 1

1
n

a
i 1

i a

(n N )
1

n
n

a
i 1

Prvi lan u ovom izrazu tei nuli ako n tei beskonanosti. Naime, broj lanova u sumi je
ogranien, dok n moe da raste. Dakle, iz ovog se moe lako zakljuiti da se razlika izmeu bn i a
moe uiniti proizvoljno malom. Sada se moe dokazati i jednakost H ( X ) H '( X ) .
Dokaz. Po lananom pravilu slijedi
H ( X 1 , X 2 ,..., X n ) 1
H ( X n X 1 , X 2 ,..., X n )
n
n
Poznato je da entropije imaju granine vrijednosti. Po carskoj sredini srednja vrijednost ima istu tu
graninu vrijednost, a koja je u ovom sluaju jednaka granici kondicionalne entropije:
H lim
n

H ( X 1 , X 2 ,..., X n )
lim
H ( X n X 1 , X 2 ,..., X n ) H '( )
n
n

3.3. Dokazati teoremu 3.3.1.

Rjeenje: Oekivana duina kodne rijei je:
E l ( X n ) p ( x n )l ( x n ) p ( x n )l ( x n )
x

x An

x An

p( x n )l ( x n )

x An

p( x n ) n( H ( X ) ) 2 p( x n ) n log 2
n
x A

Pr( A( n ) ) n( H ( X ) ) 2 Pr( A( n ) ) n log 2

n( H ( X ) ) 2 n log n( H ( X ) ')
gdje je

' log

2
n

koje se moe uiniti proizvoljno malim na osnovu izbora i izbora n .

3.4. Dokazati sljedeu teoremu: Oekivana vrijednost duine L za svaki trenutni D -arni kod za
sluajnu promjenljivu X zadovoljava: L H D ( X ) .

Dokaz.
1
pi log D D li pi log D pi
pi
i
i
i
i
p
p
i pi log D D ili i pi log D D li ( D l j i) /( D l j )
j
j

L H D ( X ) pi li pi log D

ri D li /( j D j ), c i D li
l

L H D ( x ) pi log D
i

pi
1
log D c D ( p || r ) log D 0
ri
c

jer je relativna entropija nenagativna i c 1 po Kraftovoj nejednakosti.

3.5. Posmatran je fajl sa podacima na engleskom jeziku. Broj pojavljivanja odreenih simbola je:
a
g
m
s
z

4186
947
1223
3420
855

b
h
n
t
z

832
2232
3702
4450
64

c
i
o
u

1589
3785
3697
1333

d
j
p
v

2045
134
1079
555

e
k
q
w

6103
456
51
952

f
l
r
x

1050
2018
3124
85

Odrediti tipinu sekvencu za predmetni model, ako se posmatra 100 karaktera teksta.
3.6. Posmatrajte model opisan prethodnim zadatkom. Pretpostaviti da je K najee pojavljivanih
simbola kodirano sa log 2 K bita i prefiksom 1, dok je ostatak simbola kodiran sa ASCII kodom sa
prefiksnim bitom 0. Koliko je bita potrebno za zapis originalne sekvence u ASCII kodu, kao i za
zapis komprimovane sekvence, ako je K 2, 4,8,16 . Ne treba voditi rauna o mogunosti
dekodiranja predmetne poruke.
3.7. Posmatrajte tabelu na strani 2 ovog dodatka. Provjerite asimptotsku ekviparticionu osobinu za
n 10, p 0.2, p 0.4 .
3.8. Pretpostaviti da je poznata entropija izvora H(X). Neka je nad alfabetom izvora primjenjena
linearna transformacija i neka je na osnovu kodnog simbola x dobijen kodni simbol y=ax+b gdje su
a i b konstante. Odrediti entropiju izvora y u zavisnosti od entropije izvora x .
3.9. Razmotriti jednoznanu dekodabilnost kodova kao i njihovu optimalnost ako su vjerovatnoa
pojavljivanja pojedinih simbola P(s1)=1/2, P(s2)=1/4, P(s3)=1/8, P(s4)=1/8.
S
s1
s2
s3
s4

(a)
00
01
10
11

(b)
0
10
110
1110

(c)
0
01
011
0111

10