...11010100110101101111101111011101100111010101011011110010111110111101001 ...

Prirunik s rjeenjima zadataka iz knjige

Uvod u teoriju informacije i kodiranje
Alen Baant
eljko Ili
Zdravko Mariji
Zagreb, 2010.
Uvod u teoriju informacije i kodiranje 2
Sadraj :
1. Osnovni pojmovi teorije informacije ...................................... 4
2. Komunikacijski kanali u kontinuiranom vremenu ............... 25
3. Zatitno kodiranje ................................................................... 48
4. Entropijsko kodiranje ............................................................. 73
Uvod u teoriju informacije i kodiranje 3
1. Osnovni pojmovi teorije
informacije
Uvod u teoriju informacije i kodiranje 4
Zadatak-1: Na ulazu binarnog simetrinog kanala pojavljuju se dva simbola X={0, 1} s vjerojatnostima pojavljivanja
{0.5, 0.5}. Matrica uvjetnih vjerojatnosti prijelaza u kanalu je
[ ]
1
1
]
1

1
1
) | (
i j
x y p
,
gdje je vjerojatnosti pogrenog prijenosa.
a) Odredite entropiju ulaznog skupa simbola, tj. H(X).
b) Odredite entropiju izlaznog skupa simbola, tj. H(Y).
c) Odredite zdruenu entropiju H(X,Y).
d) Odredite srednji uzajamni sadraj informacije (transinfromacija) izmeu ulaznog i izlaznog skupa simbola, tj.
I(X;Y).
e) Za koje vrijednosti varijable je transinformacija maksimalna?
f) Za koju vrijednost varijable je kapacitet danog kanala minimalan?
Rjeenje:
Uz pomo matrice uvjetnih vjerojatnosti prijelaza
[ ]
1
]
1

1
1
) | (
i j
x y p
moemo skicirati kanal:
1-
1-

''0'' ''0''
''1'' ''1''
a) Imamo zadane vrijednosti ulaznih simbola
2 / 1 ) 0 (
0
p p
i 2 / 1 ) 1 (
1
p p te moemo izraunati
entropiju ulaznog skupa simbola:
bit/simbol 1 ) ( log ) ( ) (
2
2
1

i i
i
x p x p X H
b) Poznavanjem vjerojatnosti pojavljivanja ulaznih simbola i matrice uvjetnih vjerojatnosti prijelaza mogue je
dobiti matricu zdruenih vjerojatnosti, a iz nje (zbrajanjem po stupcima) vjerojatnosti pojavljivanja izlaznih
simobla,a time i entropiju izlaznog skupa simoba H(Y).
Uvod u teoriju informacije i kodiranje 5
[ ]
bit/simbol 1 ) (
2 / 1 ) 1 ( , 2 / 1 ) 0 (
) 1 (
2
1
2
1
2
1
) 1 (
2
1
) , (


1
1
1
]
1

Y H
y p y p y x p
i i


c) Zdruena entropija H(X, Y) jednaka je
). 1 ( log ) 1 ( log 1
)
2
1
( log ) 1 (
2
1
log ) 1 ( 1
) , ( log ) , ( ) , (
2 2
2 2
2
1
2
1
2

1
]
1

i j
i i i i
y x p y x p Y X H
d) ). 1 ( log ) 1 ( log 1 ) , ( ) ( ) ( ) ; (
2 2
+ + + Y X H Y H X H Y X I
e) Transinformacija je maksimalna za sluajeve . b i t / s i m b o l 1 ) ; (
1
0

Y X I

f) Kapacitet je maksimum transinformacije

)) ; ( max (
) (
Y X I C
i
x p

U d) dijelu azadatka izraunali smo

) ; ( Y X I
, pa znamo da je kapacitet C jednak:
). 1 ( log ) 1 ( log 1 ) ; ( max ) (
2 2
) (
+ + Y X I C
i
x p
Deriviranjem prethodnog izraza po varijabli dobivamo da je kapacitet C minimalan za = 1/2 i iznosi Cmin = 0.
Uvod u teoriju informacije i kodiranje 6
Zadatak-2: Diskretni komunikacijski kanal predoen je na slici (Slika 1.1):
p
g
p
g
x
1
x
2
x
3
y
1
y
2
y
3
Slika 1.1
Vjerojatnosti pojavljivanja simbola xi definirane su kao p(xi) = pi. Koji uvjet mora biti ispunjen (uz
p x
i
i
( )

1
)
tako da vrijedi: H(X) = H(Y)? Napomena: pg = konst. 0!
Rjeenje:
Iz slike kanala moemo dobiti matricu vjerojatnosti prijelaza kanala, a zatim i matricu zdruenih vjerojatnosti:
[ ] [ ]
1
1
1
]
1

1
1
1
]
1

) 1 ( 0
) 1 ( 0
0 0
) , ( ;
1 0
1 0
0 0 1
| (
3 3
2 2
1
g g
g g i i
g g
g g i i
p p p p
p p p p
p
y x p
p p
p p x y p
Iz matrice zdruenih vjerojatnosti slijedi:
[ ] [ ] ) ( ) ( ) (
3 2 3 2 3 2 1
p p p p p p p p p y p
g g j
+ +
Iz uvjeta zadatka, ) ( ) ( Y H X H , dobivamo:
)) ( ( log )) ( (
)) ( ( log )) ( ( log log log log
3 2 3 2 3 2 3
2 3 2 2 2 3 2 1 2 1 3 2 3 2 2 2 1 2 1
p p p p p p p p
p p p p p p p p p p p p p p p p
g g
g g
+ + +
+ + + + + +
te je:
3 2
3 2
3 2 3 2
3 2
2 3 2 2
) 1 ( ) 1 (
) (
ili
) (
p p
p p p p
p p p p p
p p
p p p p p
g g
g
g

+
Isto se dobije iz:
3 2
2 3
2 3 2 3
3 2
2 3 3 3
) 1 ( ) 1 (
) (
ili
) (
p p
p p p p
p p p p p
p p
p p p p p
g g
g
g

+
Dakle, da bi za dani kanal vrijedilo
) ( ) ( Y H X H
, mora biti .
3 2
p p
Uvod u teoriju informacije i kodiranje 7
Zadatak-3: Digitalni sklop za prikaz simbola (7-segmentni indikator) prikazuje simbole u formatu kao na slici (Slika
1.2). Svi simboli (0 - 9) pojavljuju se na indikatoru sklopa s jednakom vjerojatnou pojavljivanja. Zbog kvara na
ureaju otkazale su gornje tri oznake (Slika 1.3).
a) Izraunajte prosjenu entropiju po jednom prikazu na 7-segmentnom indikatoru prije kvara.
b) Izraunajte prosjenu entropiju po jednom prikazu na 7-segmentnom indikatoru nakon kvara.
Slika 1.2
Slika 1.3
Rjeenje:
a)
2
( ) log 10 3, 3219bit/simbol. H Y
b) Nakon kvara 7-segmentnog indikatora, poetni simboli prelaze u (novi simboli su oznaeni slovima od a do
f):
a)
b)
c)
d)
e)
d)
f)
f)
b)
d)
Uvod u teoriju informacije i kodiranje 8
Matrica uvjetnih vjerojatnosti prijelaza kanala je:
[ ]
f e d c b a
i j
x y p
1
1
1
1
1
1
1
1
1
1
1
1
1
1
]
1

0 0 1 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
1 0 0 0 0 0
0 0 1 0 0 0
0 1 0 0 0 0
0 0 1 0 0 0
0 0 0 1 0 0
0 0 0 0 1 0
0 0 0 0 0 1
9
8
7
6
5
4
3
2
1
0
) | (
[ ]
1
]
1

10
2
10
1
10
3
10
1
10
2
10
1
) (
j
y p
Entropija jednog prikaza na pokazniku nakon kvara je:

6
1
2
. bit/simbol 4464 , 2 ) ( log ) ( ) (
i
j j
y y p Y H
Uvod u teoriju informacije i kodiranje 9
Zadatak-4: Odredite kapacitet binarnog kanala s brisanjem simbola predoenog na slici (Slika 1.4). Takoer, p(x1) =
i p(x2) = 1 .
1
x
2
x
3
y
1
y
1-p
p
1-p
p
e y
2
Slika 1.4
Rjeenje:
Kapacitet C je:
{ }
) ( ) ( ) ; ( ); ; ( max
) (
X Y H Y H Y X I Y X I C
i
x p

Iz slike moemo dobiti matricu uvjetnih vjerojatnosti prijelaza i matricu zdruenih vjerojatnosti:
[ ]
1 0
( | ) ;
0 1
(1 ) 0
( , ) ( ) ( | ) ;
0 (1 ) (1 )(1 )
( ) (1 ) (1 )(1 ) .
j i
i j i j i
j
p p
p y x
p p
p p
p x y p x p y x
p p
p y p p p



1
1
1
]

]
1
1 1
1
] ]

]
1
]
Pomou ovih matrica moemo dobiti entropiju izlaznog skupa, entropiju uma i transinformaciju:
[ ] [ ]
[ ]
[ ] [ ]
[ ]
{ } { } { }
) ( max ) 1 ( ) ( ) 1 ( max ) ; ( max
) ( ) 1 (
) 1 ( log ) 1 ( log ) 1 ( ) | ( ) ( ) ; (
) 1 ( log ) 1 ( log
) 1 ( log ) 1 )( 1 ( log ) 1 ( log ) 1 ( log ) 1 (
) | ( log ) , ( - ) | (
) 1 ( log ) 1 ( log ) 1 ( log ) 1 ( log ) 1 (
) 1 )( 1 ( log ) 1 ( ) 1 ( log ) 1 ( log ) 1 (
) ( log ) ( ) (
) ( ) ( ) (
2 2
2 2
2 2 2 2
2
2
1
3
1
j
2 2 2 2
2 2 2
3
1
2
X H p X H p Y X I C
X H p
p X Y H Y H Y X I
p p p p
p p p p p p p p
x y p y x p X Y H
p p p p p
p p p p p p
y p y p Y H
i
x p
i
x p
i
x p
i j
i j
i
j
j j

Entropija izvorita je maksimalna ako je n i x p x p x p
n
, , 1 za ) ( ) ( ) (
2 1
i iznosi
n X H
2
log ) ( .

{ }
. bit/simbol 1 bit/simbol 1 ) ( max
) (
p C X H
i
x p

Uvod u teoriju informacije i kodiranje 10
Zadatak-5: Tri simbola jednakih vjerojatnosti pojavljivanja prenose se preko dva serijski vezana kanala u kojima je
vjerojatnost ispravnog prijenosa 0.8, a svi mogui pogreni prijelazi su jednako vjerojatni. Odredite vjerojatnosti
pojave simbola yj na izlazu kanala ako je na ulazu simbol xi za sve parove i, j.
Rjeenje:
Na slici (Slika 1.5) dan je model kanala opisanog u zadatku. Iz razloga preglednosti slike samo su navedeni prijelazi
za jedan ulazni simbol.
0,8
0,1
0,1
X Z
0,8
0,1
0,1
Y
1
x
2
x
3
x
1
z
2
z
3
z
1
y
2
y
3
y
) ( ,
j
y p ) ( ,
k
z p ) ( ,
i
x p
Slika 1.5
Vjerojatnosti pojave simbola na ulazu u kanal su jednake i iznose 1/3, tj.
1
( ) za 1, , 3.
3
i
p x i
Da bi odredili vjerojatnosti
) (
i j
x y p
moramo pronai vezu izmeu ulaznog i izlaznog skupa simbola.
Takoer, sa slike vidimo da je
[ ] [ ] odnosno ,
08 1 , 0 1 , 0
1 , 0 8 , 0 1 , 0
1 , 0 1 , 0 8 , 0
) ( ) (
1
1
1
]
1

k j i k
z y p x z p
[ ]
8 1 1
30 30 30
1 8 1
( , ) .
30 30 30
1 1 8
30 30 30
i k
p x z
1
1
1
1

1
1
1
1
]
Iz uvjeta 3 , 2 , 1 za ), , ( ) (
3
1

i
k i k
k z x p z p dobivamo 3 / 1 ) ( ) ( ) (
3 2 1
z p z p z p ili drugaije
zapisano p[Z] = p[z1 z2 z3] = [1/3 1/3 1/3]. Vano je uoiti da se vektor vjerojatnosti p[Z] mogao dobiti klasinim
mnoenjem matrica, tj. p[Z] = p[X] p[Z | X].
Uvod u teoriju informacije i kodiranje 11
Iz [ ]
1
1
1
1
1
1
]
1

30
8
30
1
30
1
30
1
30
8
30
1
30
1
30
1
30
8
) (
k i
z x p
dobivamo vrijednost pojave simbola na izlazu iz kanala, tj. 3 / 1 ) ( ) ( ) (
3 2 1
y p y p y p ili drugaije
zapisano
p[Y] = p[y1 y2 y3] = [1/3 1/3 1/3].
I u ovom sluaju vrijedi slijedea jednakost p[Y] = p[Z] p[Y | Z].
Da bismo odredili vjerojatnost
) (
i j
x y p
posluiti emo se prethodno napisanim izrazima, tj. p[Y] = p[Z] p[Y |
Z] = p[X] p[Z | X] p[Y | Z] = p[X] p[Y | X], tj. uoavamo da je p[Y | X] = p[Z | X] p[Y | Z], to nakon
prorauna daje:
[ ]
1
1
1
]
1

66 , 0 17 , 0 17 , 0
17 , 0 66 , 0 17 , 0
17 , 0 17 , 0 66 , 0
) (
i j
x y p
Uvod u teoriju informacije i kodiranje 12
Zadatak-6: Veliina (v) koju mjeri instrument poprima osam vrijednosti sa sljedeim vjerojatnostima:
vi v1 v2 v3 v4 v5 v6 v7 v8
p(vi) 0,05 0,05 0,15 0,25 0,30 0,05 0,05 0,10
Odredite srednji sadraj informacije koju daje instrument u jedinici vremena (bit/s) ako se pokazivanje mijenja
svakih 15 ms.
Rjeenje:
Koliina informacije koju daje instrument po jednom prikazu je:

8
1
2
bit 6282 , 2 ... ) ( log ) ( ) (
i
i i
x p x p v I
Ako se pokazivanje instrumenta mijenja svakih t = 15ms, tada je koliina informacije koju daje instrument u jedinici
vremena:
. bit/s 214 , 175
) (

t
v I
C
Uvod u teoriju informacije i kodiranje 13
Zadatak-7: Instrumentom oitavamo vrijednosti iz skupa simbola X = {-2,-1, 0, 1, 2}. Sve vrijednosti su jednako
vjerojatne. Na pokazniku instrumenta pokvaren je indikator za "minus" koji se ne upali u 30% sluajeva. Ako sustav
promatramo kao komunikacijski kanal, potrebno je:
a) grafiki prikazati vjerojatnosti prijelaza u kanalu;
b) odrediti vjerojatnost pojave pojedine vrijednosti na indikatoru instrumenta;
c) odrediti entropiju ulaznog i izlaznog skupa simbola;
d) izraunati transinformaciju i ekvivokaciju u ovom sustavu.
Rjeenje:
a) Indikator za minus na pokazniku se ne upali u 30% sluajeva, dakle vjerojatnost da e pokaznik prikazati
vrijednost "-2" kao "-2" je 0.7, a kao "2" je 0.3. Analogno zakljuujemo i za "-1", dok se ostale vrijednosti
prikazuju ispravno. Grafiki prikaz kanala je:
-2
-1
0
1
2
-2
-1
0
1
2
X Y
0,7
0,3
0,7
0,3
b) Iz skice kanala moemo dobiti matricu uvjetnih vjerojatnosti prijelaza i matricu zdruenih vrijednosti:
[ ]
5 ,..., 1 , 2 , 0 ) (
1 0 0 0 0
0 1 0 0 0
0 0 1 0 0
0 3 , 0 0 7 , 0 0
3 , 0 0 0 0 7 , 0
) (

1
1
1
1
1
1
]
1

i x p
x y p
i
i j
0,14 0 0 0 0, 06
0 0,14 0 0, 06 0
( , ) ( ) ( ) 0 0 0, 2 0 0
0 0 0 0, 2 0
0 0 0 0 0, 2
i j i j i
p x y p x p y x
1
1
1
1 1 1
] ]
1
1
1
]
Uvod u teoriju informacije i kodiranje 14
Iz matrice zdruenih vjerojatnosti zbrajanjem po stupcima dobivamo vrijednosti pojave pojedine vrijednosti na
indikatoru instrumenta:
[ ] [ ] 26 , 0 26 , 0 2 , 0 14 , 0 14 , 0 ) (
j
y p
c) bit/simbol 32 , 2 5 log ) (
2
X H

5
1
2
bit/simbol 268 , 2 ... ) ( log ) (
j
j j
y p y p (Y) H
d) ( ) ( )
( )
( ) ( )
5 5
1 1
,
; , log
i i
i i
j i
i i
p x y
I X Y p x y
p x p y

( ) ( ) ( ) ; H X Y H X I X Y
bit/simbol 9167 , 1 ... ) ; ( Y X I
bit/simbol 4053 , 0 ... ) / ( Y X H
Uvod u teoriju informacije i kodiranje 15
Zadatak-8: Komunikacijskim kanalom prenose se tri poruke "a", "b" i "c" , generirane iz skupa simbola X = {a, b,
c}. Vjerojatnosti pojavljivanja simbola su p(a) = p(b) = 2 p(c). Matrica uvjetnih vjerojatnosti prijelaza u kanalu je:
( ) [ ]
1
1
1
]
1

7 , 0 2 , 0 1 , 0
1 , 0 7 , 0 2 , 0
2 , 0 1 , 0 7 , 0
i j
x y p
a) Odredite vjerojatnosti pojavljivanja pojedinih simbola na izlazu iz kanala.
b) Odredite ekvivokaciju i transinformaciju u kanalu.
c) Izraunajte promjenu transinformacije ako se provede zatita tako da se svaka poruka u prijenosu jednom ponovi.
Rjeenje:
a)
2
3
( ) ( ) 0, 4
0, 28 0, 04 0, 08
( ) ( ) 0, 4 ( , ) 0, 08 0, 28 0, 04
0, 02 0, 04 0,14
( ) ( ) 0, 2
i
i j
p a p x
p b p x p x y
p c p x

1
1
1
]
1
1
]

[ ] [ ] 26 , 0 36 , 0 38 , 0 ) ( bit/simbol 5219 , 1 ) (
j
y p X H
b)
( ) bit/simbol 124 , 1 log ) , (
3
1
3
1
2

,
_

j i
i j
j i
y x p y x p Y X H
( )
(1)
0, 28 0, 08 0, 02
0, 38 0, 38 0, 38
0, 7368 0, 2105 0, 0526
0, 04 0, 28 0, 04
0,1111 0, 7778 0,1111
0, 36 0, 36 0, 36
0, 3077 0,1538 0, 5385
0, 08 0, 04 0,14
0, 26 0, 26 0, 26
( ; ) ( ) ( / ) 0, 3979bit/sim
i j
p x y
I X Y H X H X Y
1
1
1
1
1
1
1

1
1 ]
1
1
]
1
1
]
bol
Napomena: Transinformacija se mogla dobiti i preko ). / ( i ) ( X Y H Y H
. bit/simbol 1723 , 1 ) / ( i bit/simbol 566 , 1 ) ( X Y H Y H
c) Ako se svaka poruka u prijenosu jednom ponovi, na strani prijemnika se, ovisno o tome da li je dolo do
greaka u prijenosu, moe pojaviti devet razliitih kombinacija, 'aa', 'ab',,'cc'. Od njih devet, samo se 'aa', 'bb' i
'cc' mogu dekodirati, a ostalih est su nedefinirane. Njih emo u grafu prijelaza oznaiti stanjem 'x'.
Vjerojatnost prijema nedefinirane kombinacije prilikom slanja simbola 'a' (znai kanalom e putovati 'aa') zbog
pogreaka u prijenosu je:
Uvod u teoriju informacije i kodiranje 16
46 , 0
02 , 0 1 , 0 2 , 0
14 , 0 7 , 0 2 , 0
02 , 0 2 , 0 1 , 0
07 , 0 7 , 0 1 , 0
14 , 0 2 , 0 7 , 0
07 , 0 1 , 0 7 , 0






cb
ca
bc
ba
ac
ab
Analogno moemo dobiti vjerojatnosti prijema nedefinirane kombinacije i za simbole 'b' i 'c', One isto iznose 0,46.
c) Graf prijelaza (razlomljen na tri grafa radi preglednosti) izgleda ovako:
a
b
c
x
a
b
c
0,49
0,01
0,04
0,46
a
b
c
x
a
b
c
0,49
0,01
0,04
0,46
a
b
c
x
a
b
c 0,49
0,01
0,04
0,46
( ) [ ]
1
1
1
]
1

46 , 0 49 , 0 03 , 0 01 , 0
46 , 0 01 , 0 49 , 0 04 , 0
46 , 0 04 , 0 01 , 0 49 , 0
i j
x y p
( ) ( )
0,196 0, 004 0, 016 0,184
, ( ) 0, 016 0,196 0, 004 0,184
0, 002 0, 008 0, 098 0, 092
i j i j i
p x y p x p y x
1
1
1 1

] 1 ]
1
]
[ ] [ ] 46 , 0 118 , 0 208 , 0 214 , 0 ) (
j
y p
( )
3 4
(2) 2
1 1
( / )
( ; ) , log 1,124bit/simbol
( )
i j
i j
i j
j
p y x
I X Y p x y
p y

(2) (1)
( ; ) ( ; ) ( ; ) 0, 7146bit/simbol I X Y I X Y I X Y
Uvod u teoriju informacije i kodiranje 17
Zadatak-9: Neka je dano izvorite na ijem izlazu se pojavljuju dva simbola, i to: toka () i crta (-). Trajanje () je
0,2 s, dok je trajanje (-) tri puta dulje. Vjerojatnost pojavljivanja () je dva puta vea od vjerojatnosti pojavljivanja
(-), dok je trajanje stanke izmeu simbola 0,2 s. Izraunajte prosjenu brzinu generiranja informacije na izvoritu i to
u bit/s.
Rjeenje:
s 2 , 0
3 / 1 , s 6 , 0
3 / 2 , s 2 , 0
) ( ) (
) ( ) (

s
t
p t
p t
Prosjena koliina informacije po jednom simbolu iznosi:
bit/simbol 92 , 0 585 , 1 333 , 0 585 , 0 667 , 0 log log ) (
) ( 2 ) ( ) ( 2 ) (
+

p p p p X H
Prosjeno trajanje simbola iznosi:
s/simbol 533 , 0
) ( ) ( ) ( ) (
+ +
s s
t t p t p T
Informacijska brzina izvorita iznosi:
bit/s 726 , 1
s/simbol 533 0
bit/simbol 92 , 0

,
R
Uvod u teoriju informacije i kodiranje 18
Zadatak-10: Komunikacijski kanali spojeni su serijski kako je prikazano na slici (Slika 1.6). Na kanal K1 prikljuen
je informacijski izvor koji generira 8 jednako vjerojatnih poruka koje se kodiraju skupom simbola X = {x1,..., x8}.
Vjerojatnost ispravnog prijenosa u kanalu K1 je 0,93, u kanalu K2 je 0,86 dok su svi drugi prijelazi jednako
vjerojatni. Izraunajte transinformaciju u sustavu kanala. Takoer, izraunajte ekvivokaciju u kanalima K1, K2 i u
sustavu kanala.
K
1
K
2
s u s t a v k a n a l a
i z v o r
Slika 1.6
Rjeenje:
Oznaimo skup simbola na izlazu iz kanala K1 slovom Z, apotom skicirajmo graf kanala:
0,93
0,01
0,01
X Z
0,86
0,02
0,02
Y
1 1
2
8
2
8
8 ,..., 1 ,
8
1
) ( i x p
i
[ ]
1
1
1
1
]
1

93 , 0 01 , 0 01 , 0
01 , 0 93 , 0 01 , 0
01 , 0 01 , 0 93 , 0
) / (

i k
x z p
[ ] [ ]
0,11625 0, 00125 0, 00125
0, 00125 0,11625 0, 00125
( , ) ( ) ( / )
0, 00125 0, 0125 0,11625
i k i k i
p x z p x p z x
1
1
1

1
1
]
L
L
M O M
L
Iz gornje matrice zdruenih vjerojatnosti kanala K1 moemo dobiti vjerojatnosti pojave simbola ) (
k
z p na izlazu
kanala K1: 8 ,..., 1 ,
8
1
) ( k z p
k
Analogno za K2:
Uvod u teoriju informacije i kodiranje 19
[ ] 8 ,..., 1 ,
8
1
) ( ...
86 , 0 02 , 0 02 , 0
02 , 0 86 , 0 02 , 0
02 , 0 02 , 0 86 , 0
) / (
1
1
1
1
]
1

j y p z y p
j k j

[ ] [ ] [ ]
1
1
1
1
1
]
1

8012 , 0 0284 , 0 0284 , 0
0284 , 0 8012 , 0 0284 , 0
0284 , 0 0284 , 0 8012 , 0
) / ( ) / ( ) / (

k j i k i j
z y p x z p x y p
0284 , 0 02 , 0 01 , 0 6 01 , 0 86 , 0 02 , 0 93 , 0
8012 , 0 02 , 0 01 , 0 7 86 , 0 93 , 0
+ +
+
i j
i j
Transinformacija i ekvivokacija u sustavu kanala iznose:
bit/simbol 7223 , 1
125 , 0
0284 , 0
log 125 , 0 0284 , 0 8 7
125 , 0
8012 , 0
log 801 , 0 125 , 0 8
) (
) / (
log ) / ( ) ( ) ; (
2 2
8
1
8
1
2

,
_

,
_

i j
j
i j
i j i
y p
x y p
x y p x p Y X I
bit/simbol 2776 , 1 ) ; ( 8 log
2
Y X I I(X;Y) - H(X) H(X/Y)
Ekvivokacija u kanalu K1:
bit/simbol 562438 , 0
125 , 0
00125 , 0
log 00125 , 0 56
125 , 0
11625 , 0
log 11625 , 0 8
) (
) , (
log ) , (
) / ( log ) , ( ) / (
2 2
8
1
8
1
2
8
1
8
1
2

,
_

,
_

k
k i
i k
k i
i k
k i k i
z p
z x p
z x p
z x p z x p Z X H
Ekvivokacija u kanalu K2:
bit/simbol 977268 , 0
125 , 0
02 , 0 125 , 0
log 02 , 0 125 , 0 56
125 , 0
86 , 0 125 , 0
log 86 , 0 125 , 0 8
) (
) / ( ) (
log ) / ( ) (
) (
) / (
log ) , ( ) / (
2 2
8
1
8
1
2
8
1
8
1
2

,
_

,
_

j
k j k
k j
k j k
k j j
j k
j k
y p
z y z p
z y p z p
y p
y z p
y z p Y Z H
Uvod u teoriju informacije i kodiranje 20
Zadatak-11: Izvorite emitira simbole xi koji se prenose u kanalu s djelovanjem uma zj. Na odreditu se pojavljuju
simboli yk. Vrijednosti simbola i vjerojatnosti pojavljivanja dani su na slici (Slika 1.7). um u kanalu djeluje na taj
nain da se njegova vrijednost multiplicira sa simbolima iz izvora.
x1=1
x2=2
x3=4
x4=6
p(xi)=0,25
Kanal
( X Z)
yk=xi zj
X
Y
z1=1; p(z1)=0,5
z2=2; p(z2)=0,3
z3=3; p(z3)=0,2
Z
Slika 1.7
Odredite:
a) H(Y).
b) I(X;Y).
Rjeenje:
Skicirajmo kanal:
1
2
1
2
X
Y
4
6
3
4
6
8
12
18
12
11
13
21
22
23
41
42
43
61
62
63
[ ] [ ] 2 , 0 3 , 0 5 , 0 ) ( , 4 / 1 ) (
j i
z p x p
um u kanalu djeluje tako da se njegova vrijednost ppomnoi sa simbolom iz izvora. Ako smo, na primjer, poslali
4
x , ija je vrijednost jednaka 6, u 50% sluajeva na izlazu iz kanala pojavit e se 6, u 30% sluajeva pojavit e se
12, a u 20% sluajeva 18.
Uvod u teoriju informacije i kodiranje 21
Iz grafa prijelaza moemo oitati u kojim e se sve sluajevima pojaviti odreeni simbol na izlazu, te e se, na
primjer, na izlazu pojaviti '2' kada je poslan
1
x , a u kanalu djeluje
2
z , ili kada je poslan
2
x , a u kanalu djeluje
1
z .
Dakle, vjerojatnost pojave '2' na izlazu jednaka je:
5
1
2
1
4
1
10
3
4
1
) ( ) ( ) ( ) ( ) 2 (
1 2 2 1
+ + z p x p z p x p p
Popunimo matricu zdruenih vjerojatnosti:
1 2 3 4 6 8 12 18
1 0,125 0, 075 0, 05 0 0 0 0 0
2 0 0,125 0 0, 075 0, 05 0 0 0
( ,
4 0 0 0 0,125 0 0, 075 0, 05 0
6 0 0 0 0 0,125 0 0, 075 0, 05
i j
p x y
1
1
1
1
]
1
1
]
[ ]
( ) 0,125 0, 2 0, 05 0, 2 0,175 0, 075 0,125 0, 05
j
p y 1
]
8
2
1
4 8
2
1 1
( ) ( ) log ( ) ... 2, 8313 bit/simbol
( , )
( ; ) ( , ) log ... 1, 3458bit/simbol
( ) ( )
j j
j
i j
i j
i j
i j
H Y p y p y
p x y
I X Y p x y
p x p y

Uvod u teoriju informacije i kodiranje 22

Zadatak-12: Na sustav kanala (serijska veza kanala K1 i K2) povezano je izvorite ije se ponaanje moe opisati
Markovljevim lancem prvog reda s dva stanja {1 i 2}. Izvorite u 25% sluajeva ostaje u stanju 1, a u 50% sluajeva
u stanju 2. Uvjetne vjerojatnosti prijelaza u kanalima K1 i K2 su:
K1:
1
]
1

0 1 , 0 5 , 0 4 , 0
1 , 0 0 1 , 0 8 , 0
; K2:
1
1
1
1
1
]
1

1 , 0 1 , 0 8 , 0 0 0 0 0 0
0 0 4 , 0 4 , 0 2 , 0 0 0 0
0 0 0 0 3 , 0 4 , 0 0 3 , 0
0 0 0 1 , 0 0 7 , 0 2 , 0 0
a) Izraunajte vjerojatnost pojavljivanja simbola na izlazu iz sustava kanala.
b) Odredite transinformaciju u cijelom sustavu kanala.
Napomena: Kod prorauna raditi s tri decimalna mjesta!
Rjeenje:
a) Iz matrice uvjetnih vjerojatnosti prijelaza p[Z/X] kanala K1 i p[Y/Z] kanala K2 moemo dobiti matricu
uvjetnih vjerojatnosti p[Y/X] sustava kanala:
[ ] [ ] [ ]
1
1
]
1

0 0 04 , 0 08 , 0 17 , 0 48 , 0 08 , 0 15 , 0
01 , 0 01 , 0 08 , 0 08 , 0 03 , 0 60 , 0 16 , 0 03 , 0
/ / / Z Y X Z X Y p p p
Matrica izvorita [p(xi, xj)] jednaka je:
[ ]
1
1
]
1

5 , 0 5 , 0
75 , 0 25 , 0
) , (
j i
x x p
Zbog ergodinosti izvorita vrijedi
[ ] [ ]
2 1 2 1
5 , 0 5 , 0
75 , 0 25 , 0
p p p p
1
]
1

Iz ega slijedi da je . 6 , 0 i 4 , 0
2 1
p p
Sada moem dobiti matricu zdruenih vrijednosti [p(xi, yj)]
[ ] [ ] [ ]
1
1
]
1

0 0 024 , 0 048 , 0 102 , 0 288 , 0 048 , 0 090 , 0
004 , 0 004 , 0 032 , 0 032 , 0 012 , 0 240 , 0 064 , 0 012 , 0
) / ( ) ( ) , (
i j i j i
x y p x p y x p
Iz matrice zdruenih vrijednosti moemo oitati vjerojatnosti pojavljivanja simbola na izlazu iz sustava kanala,
koje iznose:
[ ] [ ] . 004 , 0 004 , 0 056 , 0 080 , 0 114 , 0 528 , 0 112 , 0 102 , 0 ) (
j
y p
Uvod u teoriju informacije i kodiranje 23
b) Transinformacija u sustavu kanala
) ; ( Y X I
jednaka je:
) , ( ) ( ) ( ) ; ( Y X H Y H X H Y X I +
gdje je ) (X H entropija ulaznog skupa simbola, ) (Y H entropija izlaznog skupa simbola, a
) , ( Y X H

zdruena entropija.
Uvrtavanjem gore izraunatih vrijednosti u formule za dane izraze dobit emo:
bit/simbol 9981 , 2 ) , (
bit/simbol 1214 , 2 ) (
bit/simbol 971 , 0 ) (

Y X H
Y H
X H
I na kraju:
. bit/simbol 0943 , 0 ) ; ( Y X I
Uvod u teoriju informacije i kodiranje 24
2. Komunikacijski kanali u
kontinuiranom vremenu
Uvod u teoriju informacije i kodiranje 25
Zadatak-1: Razvijte u kompleksni eksponencijalni Fourierov red funkciju ) 2 ( sin ) 2 cos( ) (
0
2
0
t f t f t x + .
Rjeenje:
Zadana je funkcija x(t):
t f t t t f t f t x
0 0 0
2
0 0
2
0
2 , sin cos ) 2 ( sin ) 2 cos( ) ( + +
Raspiimo funkciju x(t) koristei prikaz funkcija sinus i kosinus u komleksnom obliku:

+ + +

,
_

+ +
1
1
]
1

,
_

+
,
_

+
k
t jk
k
t j t j t j t j
t j t j t j t j
t j t j t j t j
e c
e e e e
e e e e
e e
j
e e t x
0
0
2
0 0 0
2
0
2
0
2
0 0
2
0 0 0 0
4
1
2
1
2
1
2
1
4
1
2
4
1
2
1
2
1
2
1
2
1
) (

Dakle, dobili smo kompleksni Fourierov red iji su koeficjenti jednaki
,
4
1
,
2
1
,
2
1
2 2 1 1 0


c c c c c dok su ostale vrijednosti . 0
k
c
Uvod u teoriju informacije i kodiranje 26
Zadatak-2: Odredite koji su od navedenih signala (a)-(c) signali snage, signali energije ili niti jedno od toga.
(a)
t a
e t x

) (
, a > 0
(b) ) ( ) ( t u t x
(c) ) ( ) ( t u t t x
gdje je

'

<

0 0
0 1
) (
t
t
t u
.
Rjeenje:
a)

'

<
>

0
0
) (
t e
t e
e t x
at
at
t a
[ ] <

a
dt e dt e dt t x E
at
t a 1
2 ) (
0
2
2
2
Dakle, signal 0 , ) ( >

a e t x
t a
je signal energije.
t
e
at
e
-at
0
x(t)
b) ) ( ) ( t u t x
[ ]
[ ]
2
2
0
2
/ 2 / 2
2
/ 2 0
lim ( ) lim 1 lim
2
1 1 1 1
lim ( ) lim 1 lim
2 2
T T
T T T T
T T
T T T T
T
E x t dt dt
T
P x t dt dt
T T T






Dakle, signal ) ( ) ( t u t x je signal snage.
t
0
u(t)
1
Uvod u teoriju informacije i kodiranje 27
c) ) ( ) ( t tu t x
[ ]
( )
[ ]
( )
3
2
2
0
3
2
2
/ 2 / 2
2
/ 2 0
/ 2
lim ( ) lim lim
3
/ 2
1 1 1
lim ( ) lim lim lim
3 24
T T
T T T T
T T
T T T T T
T
E x t dt t dt
T
T
P x t dt t dt
T T T






Dakle, ) ( ) ( t tu t x nije niti signal energije niti signal snage.
t
0
tu(t)
Uvod u teoriju informacije i kodiranje 28
Zadatak-3: Signal uma, n(t), ima spektralnu gustou snage Sn(f) definiranu kao

'

+ < <

f
B f f B f z a N
f S
n
i v r i j e d n o s t o s t a l e z a 0
2 /
) (
0 0 0
[W/Hz]
(a) Odredite autokorelacijsku funkciju uma (Napomena:
B f >
0
).
(b) Odredite srednju snagu uma.
Rjeenje:
a) Skicirajmo graf spektralne gustoe snage Sn(f) uma n(t).
f, [Hz]
0
S
n
(f), [W/Hz]
f
0
-f
0
N
0
/2
2B
Izraunajmo autokorelacijsku funkciju danog uma:
0 0
0 0
0 0 0 0
2 2 2 0 0
0 0 2 2 0
0 0
2 2 2 ( ) 2 ( ) 2 2 0
2 0
( ) ( )
2 2
1
B 2 2
4
4
f B f B
j ft j ft j ft
n n
f B f B
j ft j ft
j f t j f t j t f B j t f B j Bt j Bt
j
N N
R t S f e df e df e df
f B f B N
e df e df
f f B j ft
N
e e e e e e
j t
N
e
j t

+ + +

+

+
+ + 1
+
1

]
1 +
]

( ) ( )
0 0
0 0
2 2 2 2 2
2 2 2 2 0
0
0
0
0
0 0
( ) ( )
4
2 sin(2 ) 2cos(2 )
4
4 sin(2 )
2cos(2 )
4 2
sin(2 )
2 cos(2 )
2
f t j f t j Bt j Bt j Bt j Bt
j f t j f t j Bt j Bt
e e e e e
N
e e e e
j t
N
j Bt f t
j t
N B Bt
f t
Bt
Bt
BN f t
Bt

1 +
]
+



b) Srednja snaga uma jednaka je autokorelacijskoj funkciji uma u trenutku t = 0 i iznosi:
Uvod u teoriju informacije i kodiranje 29
0
( ) (0) 2
n
P t R BN
Uvod u teoriju informacije i kodiranje 30
Zadatak-4: Dan je periodiki slijed pravokutnih impulsa x(t) amplitude A [V], frekvencije f=2 kHz i omjera /T=1/4
(Slika 2.8).
(a) Skicirajte spektar danog signala.
(b) Odredite vrijednosti komponenata spektra (c0 do c5).
(c) Izraunajte omjer snaga
P
P
i
i

3
3 .
x(t)
t
A

T -T 0
impuls pauza
Slika 2.8
Rjeenje:
a) Skicirajmo spektar danog signala:
f, [kHz]
... ...
|ck|
c
0
c1
c2
c3
c
4
c
5
c
-5
c
-4
c
-3
c
-2
c
-1
2 4 6 8 10 -2 -4 -6 -8 -10
b) Vrijednost komponenata spektra su:
( )
0
0
sin 2
2
k
k
c A
T k


i
0
A
c
T

4 /
0
A c (istosmjerna komponenta);
;
2 3
;
2
;
2
3 3 2 2 1 1

A
c c
A
c c
A
c c

.
2 5
; 0
5 5 4 4

A
c c c c

Uvod u teoriju informacije i kodiranje 31
c) Omjer snaga
P
P
i
i

3
3
jednak je:
. 902 , 0
4 /
9
1
2
1
1
2
2
16
2
2
2 2
3
3

,
_

+ + +

A
A A
P
P
i
i
(
2
P A
T

)
Uvod u teoriju informacije i kodiranje 32
Zadatak-5: Periodiki slijed pravokutnih impulsa x(t) (Slika 2.8. Zadatak-4) frekvencije 10 kHz i omjera impuls-
pauza 3:1 treba biti proputen kroz idealni niskopropusni filtar, ali tako da se barem 90% snage signala prenese na
izlaz filtra.
(a) Odredite graninu frekvenciju filtra fg. (Napomena: Kod prorauna raditi s najmanje 3 decimalna mjesta!)
(b) Skicirajte realni dio spektra signala na ulazu u filtar za podruje od -80 do 80kHz.
(c) Odredite poziciju prve nultoke ovojnice spektra signala.
Rjeenje:
a) Ukupna snaga pravokutnog signala na ulazu jednaka je:
T
A
P
uk

2
;
4
3

Snaga istosmjerne komponente signala jednaka je:

uk
P
T T
A
C P

2
2 2
2
0 0
Snaga ostalih komponenata signala jednaka je:
uk
k
P
T
k
k
T
T
k
k
A
T
k
k
T
T
A
T
n
T
n
T
A
C P

,
_

,
_

,
_

1
1
1
1
]
1

,
_

,
_

2
2 2
2
2 2
2
2
2 2 2
2
2
2 2
2
2
0
sin
sin
sin
sin
Kada uvrstimo zadane podatke, dobivamo:
uk k
P
k
k
P
,
_

4
3
sin
3
4
2
2 2

Izraunajmo snage prvih nekoliko komponenti:

0
0075 , 0
0388 , 0
0675 , 0
7500 , 0
4 4
3 3
2 2
1 1
0

P P
P P P
P P P
P P P
P P
uk
uk
uk
uk
Uoavamo da vrijedi:
Uvod u teoriju informacije i kodiranje 33

2
2
9626 , 0
k
uk k
P P
Iz ega zakljuujemo da je granina frekvencija filtra
kHz. 20 >
g
f
b) Skicirajmo realni dio spektra signala na ulazu u filtar:
f, [kHz]
|X(f)|
c
0
c1
c2
c3
c
4
c
5
c
-5
c
-4
c
-3
c
-2
c
-1
10 20 30 40 50 -10 -20 -30 -40
c
6
c
7
60 70
c
8
80 -50 -60 -70 -80
c
-6
c-7
c
-8
c) Ovojnica spektra prolazi kroz nulu u tokama
. N , k
k
f

Dakle, pozicija prve nultoke ovojnice spektra signala je na frekvenciji:

. kHz 3 , 13
1

f
Uvod u teoriju informacije i kodiranje 34
Zadatak-6: Odredite prijenosnu funkciju LTI sustava iji je impulsni odziv
t
e t h
10
5 . 0 ) (

.
Rjeenje:
Prijenosna funkcija ) ( f H i impulsni odziv ) (t h ine Fourierov transformacijski par i vrijedi:

'

0 z a 5 , 0
0 z a 5 , 0
5 , 0 ) (
1 0
1 0
1 0
t e
t e
e t h
t
t
t
H f = F [ h t ] =

h t e
j2 ft
dt
e
10 t
e
j2 ft
dt 0,5

e
10t
e
j2 ft
dt
e
10 j2f

e
t
10 j2f
dt
1
10 j2f
e
10j2f t

=0,5

0
=0,5

0
= 0,5

1
10j2f
e
t 10j2f

= 0,5

1
10j2f
10
1
10 j2f
01

=0,5

1
10j2f

1
10j2f

=
10
100 4
2
f
2
Uvod u teoriju informacije i kodiranje 35
Zadatak-7: Na ulazu LTI sustava impulsnog odziva ) ( ) ( t u e t h
bt
(b=konstanta, b R
+
), djeluje signal
obiljeja stacionarnog sluajnog procesa X(t) ija je autokorelacijska funkcija

a
X
Ae R

) ( (a=konstanta,
aR
+
; A=konstanta, AR
+
). Odredite autokorelacijsku funkciju sluajnog signala na izlazu, Y(t), LTI sustava.
(Napomena:

'

<

0 0
0 1
) (
t
t
t u
)
Rjeenje:
Izraunajmo prvo prijenosnu funkciju LTI sustava (zbog slinosti s prethodnim zadatkom integrali nisu detaljno
rjeavani):
[ ]
2 2 2
2
2
4
1
) (
2
1
) ( ) ( ) (
b f
f H
f j b
dt e t h t h F f H
ft j
+

+

Spektralna gustoa snage stacionarnog sluajnog procesa na ulazu jednaka je:

[ ]
2 2 2
2
4
2
) ( ) ( ) (
a f
a
A d e R R F f S
t f j
x x x
+

Te je spektralna gustoa snage stacionarnog sluajnog procesa na izlazu:

,
_

,
_

,
_

+

2 2 2 2 2 2 2 2
2 2
2 2 2 2 2 2
2
4
2
4
2
4
2
4
1
) ( ) ( ) (
a f
a
b a
A
b f
b
b b a
A a
A
a f
a
b f
f H f S f S
x y


Autokorelacijska funkcija sluajnog signala na izlazu, Y(t), LTI sustava jednaka je:
[ ]
( )

a b t j
y y y
e
b a
A
e
b b a
A a
df e f S f S F R

+

2 2 2 2
2 1
) ( ) ( ) (
Napomena: Koristiti Fourierovu transformaciju
2 2 2
4
2
a f
a
e
a
+

Uvod u teoriju informacije i kodiranje 36

Zadatak-8: Neka je dan pojasno ogranieni signal m(t) sa spektrom predoenim na slici (Slika 2.9).
(a) Odredite minimalnu dozvoljenu frekvenciju uzorkovanja i skicirajte spektar uzorkovanog signala. Odredite na
koji nain je mogue provesti rekonstrukciju signala m(t) iz uzorkovanog signala.
(b) Skicirajte spektar uzorkovanog signala za sluaj uzorkovanja signala m(t) s fu=45 kHz. Odredite na koji nain je
mogue provesti rekonstrukciju signala m(t) iz uzorkovanog signala.
(c) Ponovite b) ako je fu=50 kHz.
f, [kHz]
M(f)
15 25 -15 -25
Slika 2.9
Rjeenje:
a) Skicirajmo spektar uzorkovanog signala uz fu=25 kHz:
f, [kHz]
Mu(f)
15 35 -15 -25 10 -10 25 40 50 60 -35 -60 -50 -40
PPF PPF
Iz slike je vidljivo da se iz uzorkovanog signala rekonstrukcija signala m(t) moe napraviti koristei
pojasnopropusni filtar (PPF) pojasa proputanja
. kHz 15 10 uz kHz 25
L L
f f f
b) Skicirajmo spektar uzorkovanog signala
: kHz 45 s ) (
u
f t m
f, [kHz]
Mu(f)
15 -15 -30 30 45 60 -60 -45
Rekonstrukciju signala
) (t m
nije mogue napraviti koristei metodu filtriranja iz razloga preklapanja
pojaseva.
Uvod u teoriju informacije i kodiranje 37
c) Skicirajmo spektar uzorkovanog signala
: kHz 50 s ) (
u
f t m
f, [kHz]
Mu(f)
15 35 -15 -25 25 50 65 -35 -65 -50
NPF
Rekonstrukciju signala
) (t m
mogue napraviti koristei niskopropusni filtar (NPF) granine frekvencije 25
kHz.
Uvod u teoriju informacije i kodiranje 38
Zadatak-9: Dan je kontinuirani komunikacijski sustav s frekvencijskim pojasom prijenosa od 4 kHz i aditivnim
bijelim Gaussovim umom spektralne gustoe snage SN(f) (Slika 2.10). Odredite kapacitet danog prijenosnog sustava
ako se na prijamnoj strani zahtijeva snaga signala od 0,1 mW.
f, [Hz]
SN(f), [W/Hz]
N0/2 = 10
-12
0
Slika 2.10
Rjeenje:
Snagu uma N moemo dobiti iz spektralne gustoe snage N0 i irine prijenosnog pojasa kanala B:
12 3 9 0
0
2 2 10 4 10 8 10 W
2
N
N B N B


Sada moemo lako dobiti omjer signal-um:
4
9
3
10 25 , 1
10 8
10 1 , 0

N
S
i naposljetku i kapacitet kanala C:
( ) . bit/s 10 44 , 54 10 25 , 1 1 log 4000 1 log
3 4
2 2
+ +
,
_

+
N
S
B C
Uvod u teoriju informacije i kodiranje 39
Zadatak-10: Signal ) 10000 cos( ) 5000 cos( ) 12000 cos( 3 ) ( t t t t x + + [V] prisutan je u kanalu s
aditivnim pojasno ogranienim bijelim umom spektralne gustoe snage 0,2 mW/Hz za 0-12 kHz i 0 mW/Hz iznad
12 kHz. Na prijamnoj strani signal i pridodani um proputeni su kroz idealni pojasnopropusni filtar sa irinom
pojasa 1 kHz i centralnom frekvencijom pojasa proputanja na 6 kHz.
(a) Izraunajte srednji omjer signal um na ulazu u filtar (u dB!).
(b) Izraunajte srednji omjer signal um na izlazu iz filtra (u dB!).
Rjeenje:
Zadano je:
( ) ( ) ( ) + + 5000 2 cos 2500 2 cos 6000 2 cos 3 ) (t x
[ ]

'

o s t a l o 0
k H z 1 2 0 z a m W / H z 2 , 0
0
N
a) Skicirajmo spektar signala x(t) i naznaimo filtar na skici:
f [kHz]
|x(f)|
1 kHz
0 2.5 5 6
5.5 6.5
Snaga signala x(t) na ulazu u filtar jednaka je zbroju snaga frekvencijskih komponenata signala, tj.
W 5 , 5 1
2
1
2 3
2
1
2
1
2
1
2
1
2 2 2
3
2
2
2
1
+ + + A A A S
Snaga uma na ulazu u filtar jednaka je:
W 4 , 2 10 12 10 2 , 0
3 3
1 0 1


B N N
Te je srednji omjer signal um na ulazu u filtar izraen u dB jednak:
dB 6015 , 3
4 , 2
5 , 5
log 10 log 10
1
dB
1

N
S
N
S
b) Na slici vidimo da filtar proputa samo komponentu
( ) 6000 2 cos 3
signala x(t), te da je snaga
signala na izlazu iz filtra jednaka:
W 5 , 4 3
2
1
2
1
2 2
1
A S
Snaga uma na izlazu iz filtra jednaka je:
W 2 , 0 10 1 10 2 , 0
3 3
1 0 1


B N N
Uvod u teoriju informacije i kodiranje 40
te je omjer srednje snage signala naprema srednjoj snazi uma na izlazu iz filtra (izraen u dB) jednak:
dB 5218 , 3 1
2 , 0
5 , 4
log 10 log 10
2
dB
2

N
S
N
S
Uvod u teoriju informacije i kodiranje 41
Zadatak-11: Govorni signal se na ulazu nekog prijenosnog sustava uzorkuje s frekvencijom uzorkovanja fu=8 kHz, a
potom kodira s 8 bitova po uzorku. Omjer srednje snage signala prema srednjoj snazi uma u kanalu iznosi 30 dB.
Odredite potrebni pojas prijenosa ako se um u kanalu povea za 3 dB.
Rjeenje:
um u kanalu se povea za 3 dB, tj. vrijedi:
9953 , 1 log 10 log 10 log 10 dB 3
1
2
1
2
1 2

N
N
N
N
N N
Iz frekvencije uzorkovanja
u
f i broja bitova po uzorku n moemo dobiti informacijsku brzinu
. kbit/s 64 n f R
u
Kapacitet kanala C mora biti vei ili jednak od informacijske brzine R, te zakljuujemo, budui da je irina pojasa
proporcionalna s kapacitetom kanala, da je potrebna irina pojasa ona irina pojasa koju dobijemo za
R C
i
iznosi:
kHz 133 , 7
9953 , 1
1000
1 log 1 log 1 log
2
2
1
1
1
2
2
1
2

,
_

,
_

,
_

C
N
N
N
S
C
N
S
C
B
Uvod u teoriju informacije i kodiranje 42
Zadatak-12: Na ulaz sklopa za analogno-digitalnu (A/D) pretvorbu signala dovodi se analogni signal irine pojasa
prijenosa 4 kHz. Signal se uzorkuje frekvencijom uzorkovanja koja je 1.25 puta vea od minimalne dozvoljene
frekvencije uzorkovanja. Nakon toga se svaki uzorak kodira s 8 bitova.
a) Odredite informacijsku brzinu na izlazu sklopa za A/D pretvorbu.
b) Da li je mogue informacijski slijed bitova iz A/D pretvornika prenositi bez pogreaka kanalom s aditivnim
bijelim Gaussovim umom u kojem je omjer srednje snage signala prema srednjoj snazi uma (S/N) 20 dB i koji ima
pojas prijenosa 10 kHz.
c) Odredite omjer S/N (u dB) koji osigurava prijenos bez pogreaka za b) dio zadatka.
Rjeenje:
a) Minimalna dozvoljena frekvencija uzorkovanja u
f
jednaka je:
kHz 8 B 2
u
f
iz ega dobivamo da je frekvencija kHz 10
u
f .
Iz toga slijedi da je informacijska brzina R jednaka:
kbit/s 80 8 10
4
n f R
u
b) Izraunajmo kapacitet zadanog kanala.
( ) kbit/s 6 , 66 100 1 log 10 1 log
2
4
2
+
,
_

+
N
S
B C
Obzirom na to da je informacijska brzina R vea od kapaciteta kanala C, nemogue je napraviti prijenos danim
kanalom bez pogreaka.
c) Da bismo osigurali prijenos bez pogreaka, kapacitet kanala C mora biti vei ili jednak od informacijske
brzine R. Dakle vrijedi:
255 256 2 1
8 1 log
10 8 1 log 10
8
2
4
2
4
+

,
_

+

,
_

+
N
S
N
S
N
S
N
S
C
Odnosno, u decibelima:
dB 1 , 24 255 log 10 log 10
dB

N
S
N
S
Dakle, za dB 1 , 24
N
S
mogue je ostvariti prijenos navedenim kanalom bez pogreaka.
Uvod u teoriju informacije i kodiranje 43
Zadatak-13: Na ulaz kvantizatora dolazi sinusni signal amplitude Am koji koristi sve razine za rekonstrukciju signala.
Minimalni zahtijevani omjer srednje snage signala i srednje snage kvantizacijskog uma na izlazu kvantizatora je 40
dB. Odredite broj kvantizacijskih nivoa kvantizatora te proraunajte odgovarajui omjer srednje snage signala i
srednje snage kvantizacijskog uma na izlazu kvantizatora.
Rjeenje:
Iz uvjeta zadatka dobivamo da je:
10000 dB 40
dB

q
N
S
N
S
Gdje je S srednja snaga signala, a
q
N
srednja snaga kvantizacijskog uma.
Ukupan broj L svih diskretnoh razina na ulazu kvantizatora moemo dobiti iz izraza:
82 6 , 81
3
2
2
3
2
L
N
S
L L
N
S
q q
Takoer vrijedi
r
L 2 gdje je r broj bita koji se koriste za opis svakog uzorka:
7 36 , 6 log 2
2
r L r L
r
Dakle, broj potrebnih bitova za opis svakog uzorka je 7.
Izraunajmo potrebni omjer :
dB
N
S
dB 9 , 43 02 , 6 76 , 1
dB
+ r
N
S
q
Uvod u teoriju informacije i kodiranje 44
Zadatak-14: Signal
) 1000 2 sin( 10 ) ( t t u
m

uzorkuje se frekvencijom od 3 kHz. Uzorci se potom
kvantiziraju u kvantizatoru ((jednoliko kvantiziranje) s osam razina. Proraunajte omjer srednje snage signala i
srednje snage kvantizacijskog uma na izlazu kvantizatora.
Rjeenje:
Iz broja diskretnih razina kvantizatora moemo dobiti broj bitova koji se koriste za opis svakog uzorka.
3 2 8
2

r
L
r
r
Sada lako dobijemo omjer srednje snage signala prema srednjoj snazi kvantizacijskog uma na izlazu kvantizatora,
tj.:
dB 82 , 19 3 02 , 6 76 , 1 02 , 6 76 , 1
dB
+ + r
N
S
q
Odnosno:
. 15 , 96
q
N
S
Uvod u teoriju informacije i kodiranje 45
Zadatak-15: Na ulaz PCM (engl. Pulse Code Modulation) sustava dolazi signal
)
4
2000 2 sin( 8 , 0 ) (

+ t t u
m
. Uzimanje uzoraka izvodi se u trenucima
,... 2 , 1 , 0 ,
0
t t k kT t
i
s T 125
0

. Amplitude uzoraka nalaze se u intervalu
8 , 0 ) ( t u
i kvantiziraju u kvantizatoru (jednoliko
kvantiziranje) s osam kvantizacijskih razina (Slika 2.11). Koder izvodi kodiranje uzoraka binarnim kodom. Odredite
analitiki oblik signala na izlazu iz dekodera (prijamnik!).
0,2
0,4
0,6
0,8
0,2 0,4 0,6 0,8
ulaz
izlaz
-0,2 -0,4 -0,6 -0,8
-0,2
-0,4
-0,6
-0,8
Slika 2.11
Rjeenje:
Ako uzmemo uzorke signala
,
_

+
4
2000 2 sin 8 , 0 ) (

t t u
m
u trenucima
s T k kT t 125 i ,... 2 , 1 , 0 ,
0 0
t t ,
odnosno frekvencijom uzorkovanja , kHz 8
u
f zabiljeit emo slijedee vrijednosti signala (zbog periodinosti
signala navedene su samo prve etiri vrijednosti):
V 565 , 0 ) 3 ( ) 2 (
V 565 , 0 ) ( ) 0 (
0 0
0


T u T u
T u u
m m
m m
Kvantizator e preslikati dane uzorke u kvantizacijske razine + 0,5 V odnosno -0,5 V, kao to i vidimo na sljedeoj
slici.
Uvod u teoriju informacije i kodiranje 46
0,2
0,4
0,6
0,8
0,2 0,4 0,6 0,8
ulaz
izlaz
-0,2 -0,4 -0,6 -0,8
-0,2
-0,4
-0,6
-0,8
0,5
Dakle, signal ) (t u
m
na izlazu iz kvantizatora jednak je:

'

) 3 ( ) 2 ( z a V 5 , 0
) ( ) 0 ( z a V 5 , 0
) (
0 0
0
T u T u
T u u
t u
m m
m m
m
Signal na izlazu iz dekodera (prijemnik) e biti oblika:

,
_

+
4
2000 2 sin ) (

t U t u
m
Budui da, zbog pogreke kvantizacije, vrijedi da je u trenucima
s T k kT t 125 i ,... 2 , 1 , 0 ,
0 0
t t ,
, V 5 , 0

t
m
u dobivamo:
707 , 0 5 , 0
2
2

5 , 0
4
2000 2 sin ) 0 (

,
_

+
U U
t U u
m

Dakle, signal na izlazu iz dekodera je oblika:

[ ] V
4
2000 2 sin 707 , 0 ) 0 (

,
_

+

t u
m
Uvod u teoriju informacije i kodiranje 47
3. Zatitno kodiranje
Uvod u teoriju informacije i kodiranje 48
Zadatak-1: Dan je kd [k+1, k] s parnim paritetom.
a) Izraunajte sve kodne rijei koda [4,3]!
b) Koje pogreke moe detektirati ovakav kd?
c) Izraunajte vjerojatnost nedetektiranih pogreaka (pnp), uz uvjet da se pogreke na jednom bitu pojavljuju s
vjerojatnou pg = 0,04!
Rjeenje:
a) Kodne rijei koda [4, 3] su:
1111 0110
1100 0101
1010 0011
1001 0000
b) Ovaj kd moe detektirati jednostruke i trostruke pogreke. Usluaju parnog broja pogreaka, poslana
kodna rije bi prela u neku od 8 kodnih rijei koda i pogreke ne bi bile detektirane.
c) Vjerojatnost nedetktiranih pogreaka pnp jednaka je zbroju vjerojatnosti dvostrukih i etverostrukih
pogreaka i iznosi:
( ) ( )
3
0
4
2
2
1 0 8 , 8 1
4
4
1
2
4

,
_

,
_

g g g g n p
p p p p p
Uvod u teoriju informacije i kodiranje 49
Zadatak-2: Dan je binarni kd [6, 3] s matricom A:
1
1
1
]
1

1 1 1
1 1 0
1 0 1
A .
a) Da li je slijed [101010] kodna rije?
b) Neka je kodna rije dana u obliku [X11100]. Odredite X.
c) Pretpostavimo da je kodna rije [001111] odaslana, a [001101] primljena. Odredite sindrom!
d) Ispiite sve kodne rijei u ovom kodu.
e) Koji je najmanji mogui broj pogreaka koje jednu kodnu rije prevode u drugu.
Rjeenje:
a) Ako je slijed [101010] kodna rije, onda vrijedi [ ] 0 H
T
101010
Matrica H je oblika:
1
]
1

I A H
T
1
1
1
]
1

1 0 0 1 1 1
0 1 0 1 1 0
0 0 1 1 0 1
H
Vidimo da je uvijet [ ] 0 H
T
101010 ispunjen i slijed [101010] je kodna rije danog koda.
b) Znamo da svaku kodnu rije c nekog koda mora vrijediti 0 H c
T
. Ako u gornji izraz uvrstimo
c=[11100],
s lijeve strane izraza dobit emo [X0X] iz ega zakljuujemo da X mora biti jednak nuli.
c) U danom sluaju sindrom iznosi:
[ ] [ ] [ ] 010
1 0 0
0 1 0
0 0 1
1 1 1
1 1 0
1 0 1
001101 001101
T

1
1
1
1
1
1
1
1
]
1

H s
d) Generirajua matrica G danog koda je oblika
1
1
1
]
1

1 1 0 1 0 0
1 1 0 0 1 0
1 0 1 0 0 1
G
Ako sada uvrstimo sve kodirane poruke d, od [000] do [111] u izraz
, G d c
dobiti emo sve kodne rijei c
u ovom kodu:
Uvod u teoriju informacije i kodiranje 50
111001
110110
101010
100101
011100
010011
001111
000000
e) Najmanji mogui broj pogreaka koje jednu kodnu rije prevode u drugu jednak je tri.
Uvod u teoriju informacije i kodiranje 51
Zadatak-3: Dvije kodne rijei "000" i "111" koriste se za prijenos informacija preko diskretnog binarnog simetrinog
kanala u kojem je vjerojatnost pogrenog prijenosa p=0,2. Na prijamnoj strani se kod dekodiranja koristi pravilo
minimalne udaljenosti. Odredite vjerojatnost pogrenog dekodiranja. Takoer, odredite vjerojatnost pogrenog
dekodiranja za sluaj binarnog kanala s brisanjem simbola u kojem je vjerojatnost brisanja p=0,2.
Rjeenje:
a) Skicirajmo prvi kanal:
} 000 {
1
x
} 111 {
2
x
2
y
1
y
g
p g
p
Slijed bitova na izlazu iz kanala e se dekodirati ovako:
011 100
110 010
101 001
111 000
Vjerojatnost pogrenog kodiranja pe iznosi:
( ) ( ) ( ) 1 0 4 0 , 0 1 3 1
3
3
1
2
3
3 2
0
3 2
+

,
_

,
_

p p p p p p p p
e
b) Skicirajmo kanal s brisanjem simobla:
Uvod u teoriju informacije i kodiranje 52
1
x
2
x
2
y
1
y
p
p
e
Vjerojatnost pogrenog dekodiranja za sluaj binarnog kanala s brisanjem simbola pe iznosi:
( ) 0 0 4 0 , 0
2
1
1
3
3
2
1
3
0
3

,
_

p p p p
e
Uvod u teoriju informacije i kodiranje 53
Zadatak-4: Mjerenjem je utvreno da u binarnom komunikacijskom kanalu djeluju smetnje koje mogu uzrokovati
pogrean prijenos od jednog bita u slijedu od najmanje 17 uzastopnih bita. Za zatitu informacije uporabljen je
Hammingov koder, a duljina zatitno kodiranog bloka prilagoena je uvjetima koji vladaju u kanalu.
Za informaciju zadanu s m
n
binarnih elemenata:
m1 m2 m3 mn
1 0 1 0 1 0 1 0 1 1 0 1 0 1 0 0 0 1 1 1 1 0 1 1 0 1 0 0 0 1 1 1 ...
.
1
a) Odredite prvi zatitno kodirani blok.
b) Za koliko e se smanjiti ili poveati kodna brzina ako se zbog promjene u djelovanju smetnji duljina kodirane
poruke postavi na 11 bita?
Rjeenje:
a) Utvreno je da smetnje u kanalu mogu uzrokovati pogrean prijenos jednog bita u slijedu od 17 bitova,
odnosno na svakih 17 bitova prenesenih kanalom dolazi ili jedan ili nijedan pogrean bit. Znamo da
Hammingov koder moe sigurno otkriti i ispraviti jednostruku pogreku, te zakljuujemo da kodna rije
moe biti duljine najvie 17 bitova. Ako bi kodna rije bila duga, npr. 18 bitova, postoji vjerojatnost da se u
prijenosu dogode dvije pogreke i Hammingov kd ih nee biti u stanju ispraviti. Dakle, za zatitu
informacije emo koristiti Hammingov koder [17,12], tj. kodna rije e biti duljine 17 bitova i sastojat e se
od 12 informacijskih i 5 zatitnih bitova.
Znai prvi informacijski blok koji emo zatiti je [101010101101].
Zatitni bitovi kod kodne rijei kodirane Hammingovim kodom su postavljeni na pozicijama koje odgovaraju
potencijama broja 2 (1, 2, 4, 8, 16,) i dobivaju se kao paritetni bitovi odreenih podgrupa informacijskih
bitova poruke, kao to vidimo u izrazima dolje (u sluaju da nije drugaije naznaeno, pod paritet se zapravo
podrazumjeva parni paritet):
...
...
... ...
... ...
15 14 13 12 7 6 5
11 10 9 8 4 3 2 4
11 10 7 6 3 7 6 4 3 1 2
11 9 7 5 3 7 5 4 2 1 1




x x x x x x x
m m m m m m m x
x x x x x m m m m m x
x x x x x m m m m m x
xi oznaava i-ti bit kodne rijei, a mi i-ti informacijski bit poruke.
Kodirajmo sada tim postupkom zadani informacijski blok [101010101101]:
1 1 0 1 1 1 1 0 1 0 0 1 0 1 1 0 1
1 1
0 1 1 1 1 0 1 0
0 1 1 1 0 1 0 1
0 1 1 0 0 1 1 0
1 0 1 1 1 0 0 1 1
1 _ 0 1 1 0 1 0 1 _ 0 1 0 _ 1 _ _
17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1
x x x x x x x x x x x x x x x x x
b) Kodna brzina R nekog koda jednaka je omjeru broja informacijskih bitova i ukupnog broja bitova u kodnoj
rijei.
Kodna brzina koda (17,12) iznosi: ( ). 59 , 70 7059 , 0
17
12
0
0
1
R
Uvod u teoriju informacije i kodiranje 54
Ako se duljina kodne rijei ogranii na 11 bitova, analizom moemo zakljuiti da e se ona sastojati od 7
informacijskih i 4 zatitna bita (zatitni bitovi se nalaze na pozicijama 1, 2, 4 i 8, dakle ukupno ih ima etri), tj.
koristit emo kd [11,7].
Kodna brzina koda [11,7] iznosi: ( ). 64 , 63 6364 , 0
11
7
0
0
1
R
Zakljuujemo da se nakon postavljanja duljine kodne rijei na 11 bita kodna brzina smanjila za 0,0695 (6,95%)
u odnosu na sluaj kada je duljina kodne rijei bila 17 bitova.
Uvod u teoriju informacije i kodiranje 55
Zadatak-5: Slijed bita x=[10101010101] ulazi u Hammingov koder [15, 11] i nakon toga se prenosi prijenosnim
kanalom u kojem je vjerojatnost pogrenog prijenosa bita pg=2 10
-3
.
a) Odredite generirajuu matricu G.
b) Odredite izlazni slijed iz kodera za dani ulazni slijed x.
c) Ako je primljena kodna rije c=[11111100000000], odredite koja je kodna rije poslana.
d) Odredite vjerojatnost pogrenog dekodiranja (ppd).
Rjeenje:
a) Matrica provjere pariteta H koda [15,11] je oblika:
1
1
1
1
]
1

1 1 1 1 1 1 1 1 0 0 0 0 0 0 0
1 1 1 1 0 0 0 0 1 1 1 1 0 0 0
1 1 0 0 1 1 0 0 1 1 0 0 1 1 0
1 0 1 0 1 0 1 0 1 0 1 0 1 0 1
H
Iz matrice provjere pariteta H moemo dobiti generirajuu matricu G koda [15,11] koja je oblika:
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
]
1

1 0 0 0 0 0 0 1 0 0 0 1 0 1 1
0 1 0 0 0 0 0 1 0 0 0 1 0 1 0
0 0 1 0 0 0 0 1 0 0 0 1 0 0 1
0 0 0 1 0 0 0 1 0 0 0 1 0 0 0
0 0 0 0 1 0 0 1 0 0 0 0 0 1 1
0 0 0 0 0 1 0 1 0 0 0 0 0 1 0
0 0 0 0 0 0 1 1 0 0 0 0 0 0 1
0 0 0 0 0 0 0 0 1 0 0 1 0 1 1
0 0 0 0 0 0 0 0 0 1 0 1 0 1 0
0 0 0 0 0 0 0 0 0 0 1 1 0 0 1
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1
G
b) Izlazni slijed iz kodera c moemo dobiti tako da pomnoimo ulazni slijed x = [10101010101] s
generirajuom matricom G:
c = xG = [101101001010101]
c) Pomou gore dobivene matrice provjere pariteta H i moemo izrainati sindrom s:
[ ] 1110
T
H c s
Budui da je sindrom s jednak [1110], odnosno 7, zakljuujemo da se dogodila pogreka u prijenosu i to na
sedmom bitu kodne rijei.
Dakle, poslana je kodna rije [111111100000000].
d) Vjerojatnost pogrenog dekodiranja (ppd) iznosi:
Uvod u teoriju informacije i kodiranje 56
4 1 4 1 1 5 0
1 0 1 2 9 , 4 ) 1 (
1
1 5
) 1 (
0
1 5
1

,
_

,
_

e e e e p d
p p p p p
Uvod u teoriju informacije i kodiranje 57
Zadatak-6: Ciklini kd [7, k] opisan je generirajuim polinomom 1 ) (
2 3 4
+ + + x x x x g .
a) Odredite generirajuu matricu G = [I|A].
b) Odredite kodnu rije koja poinje s [110].
c) Nacrtajte cikliki koder.
Rjeenje:
a) Odredimo generirajuu matricu G danog ciklinog koda:
1
1
1
]
1

1
1
1
]
1

1
1
1
]
1

1
1
1
]
1

1 0 1 1 1 0 0
1 1 1 0 0 1 0
0 1 1 1 0 0 1
1 0 1 1 1 0 0
1 1 1 0 0 1 0
1 0 1 1 1 0 0
0 1 0 1 1 1 0
1 0 1 1 1 0 0
Dakle, matrica G iznosi:
Uvod u teoriju informacije i kodiranje 58
1
1
1
]
1

1 0 1 1 1 0 0
1 1 1 0 0 1 0
0 1 1 1 0 0 1
G
b) Kod ciklikog koda [7,3] prva tri bita kodne rijei su informacijski bitovi te kodnu rije moemo dobiti
mnoenjem kodirane poruke [110] s generirajuom matricom G:
c = [110]G = [1101001]
c) Ciklini koder za dani kd izgleda ovako:
ulaz izlaz
1
2
x x
3
x
4
x
Uvod u teoriju informacije i kodiranje 59
Zadatak-7: Na slici (Slika 3.12) dan je koder za ciklini kd [15, k].
a) Odredi generirajui polinom g(x).
b) Kodirajte slijed 10001001010.
ulaz
izlaz
Slika 3.12 Cikliki koder [15, k] u zadatku 7
Rjeenje:
a) Iz slike kodera lako moemo oitati generirajui polinom g(x)=x
4
+x+1 i isto tako (budui da je stupanj
polinoma jednak etri) da se radi o ciklinom kodu [15,11].
b) Kd je [15,11] dakle prvi kodirani slijed dobit e se iz prvih 11 bitova ulaznog slijeda, tj. iz "10001001010".
Jedno od temeljnih svojstava ciklinih kodova je da zatitne bitove neke kodne rijei moemo dobiti kao ostatak
dijeljenja kodirane poruke (tj. informacijskih bitova) napisane u polinomnom obliku te pomnoene sa x
nk
(n -
duljina kodirane poruke, k - broj informacijskih bitova) i genererirajueg polinoma g(x), tj.
g(x)
x d x
x r
k n
) (
ost ) (

U naem sluaju to bi bilo:

( )
1
) ( d
4 7 10
3 6 10 4
+ + +
+ + +

x x x
g(x)
x x x x x
g(x)
x x
k n
uz ostatak x+1
Vidimo da ostatak pri dijeljenju iznosi x+1, odnosno [0011] iz ega slijedi da je traena kodna rije
c=[100010010100011].
Uvod u teoriju informacije i kodiranje 60
Zadatak-8: Potrebno je generirati ciklini kd [n, k]=[6,2] koristei jedan od nie navedenih generirajuih polinoma:
g(x)=x
3
+x+1
g(x)=x
2
+1
g(x)=x
4
+x
2
+1
a) Odredite generirajuu matricu G=[I|A].
b) Napiite sve kodne rijei za dani ciklini kd.
c) Koliko pogreaka moe ispraviti dani kd?
d) Nacrtajte ciklini koder [6,2] za odabrani polinom g(x).
Rjeenje:
a) Znamo da je ciklini kd [6,2], tj. kodna rije sadri etiri zatitna bita, iz ega zakljuujemo da generirajui
polinom mora biti etvrtog stupnja, te je
. 1 ) (
2 4
+ + x x x g
Sada lako moemo pomou generirajueg polinoma odrediti generirajuu matricu G koja je oblika:
1
1
]
1

1 0 1 0 1 0
0 1 0 1 0 1
G
b) Ciklini kd je [6,2], dakle kodirane poruke su dvobitne i mogu biti 00,01,10 i 11.
Uz pomo generirajue matrice G lako moemo iz kodiranih poruka dobiti sve etiri kodne rijei c danog
ciklinog koda.
111111
101010
010101
000000
G d c
11
10
01
00
d
c) Za svaki linearni blok kd vrijedi:

,
_

t
i
k n
i
n
0
2
gdje je n duljina kodne rijei, k broj informacijskih bitova u kodnoj rijei, a t broj pogreaka koje kd moe
ispraviti.
Primijenimo ovaj uvjet:
Uvod u teoriju informacije i kodiranje 61
8 7 1
1
7
0
7
8
7
2
2
0
4 7
0
+

,
_

,
_

,
_

,
_

t
i
t
i
k n
i
i
n
Iz gornjeg prorauna moemo vidjeti da dani kd moe ispraviti najvie jednu pogreku.
d) Ciklini koder danog koda izgleda ovako:
Uvod u teoriju informacije i kodiranje 62
ulaz izlaz
Uvod u teoriju informacije i kodiranje 63
Zadatak-9: Za konvolucijski koder sa slike (Slika 3.13).
(a) Skicirajte dijagram stanja navodei ulazne i izlazne bitove na prijelaznim granama dijagrama.
(b) Odredite kodiranu poruku koja se pojavljuje na izlazu kodera ako se na njegov ulaz dovede poruka
d=[1001110100]. Napomena: bitovi poruke d ulaze u koder gledano s lijeva na desno.
(c) Skicirajte reetkasti dijagram za dani konvolucijski koder.
ulaz izlaz 1
2
Slika 3.13 Konvolucijski koder u zadacima 9, 10 i 11
Rjeenje:
a)
01
00
10
11
1/10
0/00
0/11
1/10 0/11 1/01
0/00
1/01
ulaz /izlaz
b)
11 11 01 00 10 01 10 11 11 10 izlaz
0 0 0 0 1 1 1 0 0 1 ulaz
Uvod u teoriju informacije i kodiranje 64
c)
00
01
10
11
00
10
11
01
11
01
00
10
...
...
Uvod u teoriju informacije i kodiranje 65
Zadatak-10: Pozovimo se na zadatak-9.
(a) Neka se u prijenosu dogodi pogreka u kodiranoj poruci na treem i sedmom bitu. Koristei Viterbijev algoritam
(uzimajui u obzir da se koristi dekoder s tvrdim odluivanjem) potrebno je odrediti etiri preivjela puta nakon
primitka posljednjeg bita kodirane poruke.
(b) Odredite preivjeli put s minimalnom udaljenosti, te na osnovu njega odredite najvjerojatniju poslanu kodiranu
poruku.
Rjeenje:
a)
11 11 01 00 10 01 00 11 01 10 (s`) rije kodna primljena
11 11 01 00 10 01 10 11 11 10 (s) rije kodna poslana
Viterbijev algritam.

+
+
+
+
+
+
+
+

1 1 11 10 10 01 10
1 2 11 01 01 01 11 10
0 1 11 00 10 01 10
2 2 10 01 11 01 11 10
1 2 10 01 00 01 10
1 1 01 00 10 11 11 10
2 2 10 11 00 01 10
0 1 00 00 00 11 11 10
1 11 10 01 10
4 11 01 01 10 00
2 11 00 01 10
3 10 01 11 10 00
2 10 01 11 10
3 01 00 10 00 00
1 10 11 11 10
4 00 00 11 11 01 00 10 01 00 00 00 00 : putovi
dist. stanje stanje 11 11 01 00 10 01 00 11 01 10 s
. Hamm sadanje prethodno 10 9 8 7 6 5 4 3 2 1 j
2 2 11 10 00 10 01 10
0 2 11 01 01 00 11 11 10
1 2 11 00 00 10 01 10
1 2 10 01 11 00 11 11 10
0 1 10 01 00 10 01 10
2 1 01 00 10 00 11 11 10
1 1 10 11 00 10 01 10
1 1 00 00 00 00 11 11 10
+
+
+
+
+
+
+
+
Uvod u teoriju informacije i kodiranje 66
+
+
+
+
+
+
+
+
2 2 11 01 01 10 11 11 10
2 1 11 01 01 01 00 10 01 10
1 2 11 01 01 10 11 11 10
1 1 10 01 01 01 00 10 01 10
2 3 10 11 11 10 11 11 10
0 2 01 00 00 00 00 11 11 10
1 3 10 11 11 10 11 11 10
1 2 00 00 00 00 00 11 11 10
1 2 11 10 10 01 10 11 11 10
1 2 11 01 01 10 00 00 11 11 10
0 2 11 00 10 01 10 11 11 10
2 2 10 01 11 10 00 00 11 11 10
1 2 10 01 11 01 00 10 01 10
1 3 01 00 10 00 00 00 11 11 10
2 2 10 11 11 01 00 10 01 10
0 3 00 00 00 00 00 00 11 11 10
+
+
+
+
+
+
+
+
2 3 11 10 01 10 00 00 11 11 10
0 3 11 01 01 01 11 01 00 10 01 10
1 3 11 00 01 10 00 00 11 11 10
1 3 10 01 11 01 11 01 00 10 01 10
0 2 10 01 00 10 01 10 11 11 10
2 3 01 00 10 00 00 00 00 11 11 10
1 2 10 11 00 10 01 10 11 11 10
1 3 00 00 00 00 00 00 00 11 11 10
+
+
+
+
+
+
+
+
1 3 11 10 01 01 11 01 00 10 01 10
1 2 11 01 01 01 00 10 01 10 11 11 10
2 3 11 00 01 01 11 01 00 10 01 10
0 2 10 01 11 01 00 10 01 10 11 11 10
1 4 10 01 11 01 11 01 00 10 01 10
1 3 01 00 10 11 00 10 01 10 11 11 10
0 4 10 11 11 01 11 01 00 10 01 10
2 3 00 00 00 11 00 10 01 10 11 11 10
+
+
+
+
+
+
+
+
Uvod u teoriju informacije i kodiranje 67
+
+
+
+
+
+
+
+
1 3 11 10 01 01 00 10 01 10 11 11 10
1 4 11 01 01 10 11 00 10 01 10 11 11 10
2 3 11 00 01 01 00 10 01 10 11 11 10
0 4 10 01 11 10 11 00 10 01 10 11 11 10
1 2 10 01 11 01 00 10 01 10 11 11 10
1 4 01 00 10 11 11 01 11 01 00 10 01 10
0 2 10
2 4 00 00 00 11 11 01 11 01 00 10 01 10
11 11 01 00 10 01 10 11 11 10
* preivjeli put
b) Put s minimalnom udaljenou (2) oznaen je u tablici Viterbijevog algoritma, tj. najvjerojatnija poslana
kodna rije je s=[10 11 11 10 01 10 00 01 11 11].
Uvod u teoriju informacije i kodiranje 68
Zadatak-11: Odredite prijenosnu funkciju T(D) za konvolucijski koder sa slike (Slika 3.13, Zadatak-9). Odredite put
s minimalnom moguom udaljenosti (dmin).
Rjeenje:
Nie je dan dijagram stanja na konvolucijski koder iz zadatka 9.
00 01 10 00
11
D
D
D
D
2
D
D
2
D
0
=1
x
a
x
b
x
d
x
c
x
a
Dani dijagram stanja iskoristit emo u svrhu zadavanja slijedeih jednadbi:
) ( ) 3 (
) 2 (
) ( ) 1 (
2
d b d
d b c
c a b
x x D x
x x D x
x x D x
+
+
+
a c
b b c b d
x D x D
D D D
D
D D D
D
x
D
D D D
x
D
D
D x x
D
x

,
_

+

,
_

3 2
3 2
3 2
2
1
1
) 1 (
1 1
) 2 (
1
1
) 3 ( Iz
Obzirom da je
c a
x D x
2 `
dobivamo
.
) ( 1
2
`
3 2
3 2
a
a
Dx
D
x
D D D
D D D D D

+
+
Prijenosna funkcija T(D) definirana je kao:
4 3 2
6
4 3 2
5
4 3 2
4
4 3 2
3 2 3 `
1 1 1 1
) (
) (
D D D D
D
D D D D
D
D D D D
D
D D D D
D D D D
x
x
D T
a
a
+

+
+
+

+
+

Lako se pokazuje da je minimalna mogua udaljenost koda dmin=4 i da ista odgovara putu
. 00 10 11 01 00
11 00 01 10

Uvod u teoriju informacije i kodiranje 69
Zadatak-12: Za konvolucijski koder sa slike (Slika 3.14):
(a) Skicirajte dijagram stanja navodei ulazne i izlazne bitove na prijelaznim granama dijagrama.
(b) Odredite izlazni slijed bitova ako je ulazni slijed d=[1100101]. Napomena: bitovi poruke d ulaze u koder
gledano s lijeva na desno.
(c) Odredite prijenosnu funkciju T(D).
(d) Odredite minimalnu moguu udaljenost koda (dmin).
ulaz
izlaz
1
2
3
Slika 3.14 Konvolucijski koder u zadatku 12
Rjeenje:
a)
10
00
01
11
1/011
0/000
0/111
1/001
0/101 1/100
0/010
1/110
ulaz /izlaz
b)
100 101 011 111 010 100 011 izlaz
1 0 1 0 0 1 1 ulaz
c)
3
7
1
) (
D D
D
D T

d) Put
. 00 01 10 00
111 101 011

daje minimalnu moguu udaljenost koda koja iznosi dmin=7
Uvod u teoriju informacije i kodiranje 70
Zadatak-13: Skicirajte konvolucijski koder (k=2, n=3, L=2) ako su dani njegovi funkcijski generatori:
[ ] 11
) 3 (
1
) 1 (
2
) 1 (
1
h h h , [ ] 01
) 3 (
2
) 2 (
1
h h i [ ] 10
) 2 (
2
h .
Rjeenje:
1
2
3
1
2
ulazi
izlazi
Uvod u teoriju informacije i kodiranje 71
Zadatak-14: Dan je konvolucijski koder kao na slici (Slika 3.15).
(a) Skicirajte dijagram stanja za dani koder.
(b) Odredite prijenosnu funkciju T(D, N) i iz iste odredite koliko ima putova udaljenosti 7.
ulaz
izlaz
1
2
Slika 3.15 Konvolucijski koder u zadatku 14
Rjeenje:
a)
10
00
01
11
1/11
0/00
0/11
1/10
0/10 1/00
0/01
1/01
ulaz /izlaz
b) .
2 1
) , (
5
DN
N D
N D T

U grafu postoje etiri puta udaljenosti 7.

Uvod u teoriju informacije i kodiranje 72
4. Entropijsko kodiranje
Uvod u teoriju informacije i kodiranje 73
Zadatak-1: Markovljevo izvorite definirano matricom prijelaznih vjerojatnosti, [p(xj/xi)], generira simbole iz skupa
simbola X = {a, b, c}.
[ ]
1
1
1
]
1

6 , 0 2 , 0 2 , 0
3 , 0 4 , 0 3 , 0
1 , 0 1 , 0 8 , 0
) (
i j
x x p
a) Optimalno kodirajte binarnim kodom (Huffman!) sve parove simbola.
b) Odredite srednju duljinu kodne rijei.
c) Provjerite je li zadovoljena Kraftova nejednakost za dobiveni skup kodnih rijei.
Rjeenje:
Rjeavajui sustav jednadbi
1
2 , 0 4 , 0 1 , 0
2 , 0 3 , 0 8 , 0
+ +
+ +
+ +
c b a
c b a b
c b a a
p p p
p p p p
p p p p
Dobivamo vjerojatnosti pojavljivanja simbola na izvoritu, tj. , 11 / 2 33 / 6 , 11 / 6 33 / 18
b a
p p
. 11 / 3 33 / 9
c
p
Matrica zdruenih vjerojatnosti pojavljivanja simbola je:
[ ]
1
1
1
1
1
1
]
1

330
54
330
18
330
18
330
18
330
24
330
18
330
18
330
18
330
144
) , (
j i
x x p
Uvod u teoriju informacije i kodiranje 74
a) Postupak kodiranja dan je na slici:
18/330
18/330
18/330
18/330
18/330
18/330
24/330
54/330
144/330
1
0
1
1
0
0
1
0
1
0
1
0
1
0
0
1
Iz grafa sa slike oitavamo:
i
p
i j i
p y x ) , (
Kodna rije
i
l
144/330 0 1
54/330 110 3
24/330 1110 4
18/330 1011 4
18/330 1010 4
18/330 1001 4
18/330 1000 4
18/330 11111 5
18/330 11110 5
b)
bit/simbol 636 , 2 L
c) Lako se pokazuje da vrijedi:

9
1
. 1 2
i
l
i
Uvod u teoriju informacije i kodiranje 75
Zadatak-2: Slijed simbola s vjerojatnostima (u %) pojavljivanja {8.1, 11.3, 8.6, 6, 9.8, 8.5, 3.1, 13.5, 6.3, 6, 9.1, 9.7}
kodirajte dibitima (kvaternarnim simbolima) tako da srednja duljina kodne rijei bude minimalna. Izraunajte
srednju duljinu kodne rijei (u dibitima) i efikasnost koda. Odredite za koliko se smanji ili povea efikasnost koda
ovim kodiranjem u odnosu na kodiranje istog skupa simbola binarnim kodom?
Rjeenje:
Prilikom kodiranja u bilo kojoj drugoj bazi koja je razliita od 2, potrebno je provjeriti da li imamo dovoljan broj
simbola u cilju ispravnog provoenja algoritma kodiranja. Ako je broj simbola nedovoljan tada je potrebno dodati
odreeni broj simbola (s vjerojatnou pojavljivanja 0) u postojei skup u cilju provoenja kodiranja.
Prvo treba proraunati slijedee:
, 1 ) 1 ( i
1
1
' ' '
+
1
1
1

B k N
B
N
k
(*)
gdje je N broj simbola, a B baza u kojoj se kodiranje provodi. Ako je 0
'
N N tada je potrebo u postojei
skup dodati jo N N
'
simbola s vjerojatnou pojavljivanja 0. U protivnom, kada je 0
'
N N kodiranje
moemo provesti bez dodavanja.
________________
Postavlja se pitanje kako smo doli do formule (*). Odgovor emo dati kroz dva jednostavna primjera. Neka je baza,
B, u kojoj treba provesti kodiranje 3. Tada, ako je broj simbola N = 3, 5, 7, 9, ... kodiranje je mogue provesti bez
dodavanja novih simbola. Za sve druge vrijednosti bit e potrebno dodati odreeni broj simbola, s vjerojatnou
pojavljivanja 0, u postojei skup. Nadalje, zapiimo za dani slijed (3, 5, 7, 9, ...) brojeve koji su za jedan manjih od
navedenih, tj. dobivamo (2, 4, 6, 8, ...) ili:
N 3 5 7 9 ...
N' 2 4 6 8 ...
N' = k(B-1), k = 1, 2, ...
Uoavamo, iz prethodne tablice, da bi smo kodirali u bazi 3 (B = 3) mora biti zadovoljeno sljedee:
) 1 ( ) 1 ( N B k
, kN ili 1
1
1

1
1
B
N
k
. Kad odredimo najmanji k (oznaimo ga s k') za koji je prethodna
nejednakost zadovoljena ostaje nam da naemo novi broj simbola (N' = k(B-1)+1) za koji kodiranje mogue
provesti. Razlika N N
'
odreuje broj simbola koje treba dodati u postojei skup simbola u cilju ispravnog
provoenja postupka kodiranja.
Potpuno ista zakonitost vrijedi za B = 4.
N 4 7 1
0
1
3
...
N' 3 6 9 1
2
...
N' = k(B-1), k = 1, 2, ...
Uoavamo, iz prethodne tablice, da bi smo kodirali u bazi 4 (B=4) mora biti zadovoljeno sljedee:
) 1 ( ) 1 ( N B k
, kN ili 1
1
1

1
1
B
N
k
. Vidimo da smo doli do istog matematikog izraza kao i za bazu 3.
Openito gledano, potpuno isti zakljuci vrijede za bilo koju drugu bazu.
________________
U naem zadatku:
. 13 1 ) 1 4 ( 4 i 4
1 4
1 12
' '
+
1
1
1

N k
Dakle, potrebno je dodati jo jedan simbol s vjerojatnou pojavljivanja 0.
Uvod u teoriju informacije i kodiranje 76
Postupak kodiranja dan je na slici:
6,0
6,3
8,1
8,5
8,6
9,1
9,7
11,3
13,5
2
6,0
3,1
0
9,8
3
2
1
0
3
2
1
0
3
2
1
0
0
1
3
Iz grafa sa slike oitavamo:
i
p
Kodna rije
i
l
13,
5
0 1
11,
3
33 2
9,8 32 2
9,7 31 2
9,1 30 2
8,6 23 2
8,5 22 2
8,1 21 2
6,3 20 2
6,0 13 2
6,0 12 2
301 11 2
Uvod u teoriju informacije i kodiranje 77
Efikasnost koda definira se kao
L
X H
B
) (
, gdje je B baza u kojoj je provedeno kodiranje.
Za na zadatak



12
1
12
1
4
log ) ( i
simbolu
dibita
8650 , 1 9408 , 0
) (
i i
i i i i B
p p X H l p L uz
L
X H

simbolu
dibita
7546 , 1
Za sluaj kodiranja u bazi 2 dobivamo:
i
p
Kodna rije
i
l
13,
5
101 3
11,
3
011 3
9,8 010 3
9,7 001 3
9,1 1111 4
8,6 1110 4
8,5 1101 4
8,1 1100 4
6,3 1001 4
6,0 1000 4
6,0 0001 4
3,1 0000 4
Efikasnost koda je:
.
simbolu
dibita
5091 , 3 log ) ( i
simbolu
dibita
5570 , 3 9865 , 0
) (
12
1
12
1
2 2


i i
i i i i
p p X H l p L uz
L
X H

Vidimo da se efikasnost smanji za sluaj kodiranja s bazom 4.

Uvod u teoriju informacije i kodiranje 78
Zadatak-3: Dan je skup simbola sa sljedeim vjerojatnostima pojavljivanja:
xi 1 2 3 4 5 6
p(xi)=p
i
0,24 0,42 0,10 0,12 0,10 0,02
Optimalno kodirajte dani skup simbola binarnim kodom tako da je srednja duljina kodne rijei minimalna
(Huffman!). Odredite koliko mora biti trajanje binarnih simbola "0" i "1" tako da je prosjean broj simbola koje se
prenesu komunikacijskim kanalom u jednoj sekundi 400.
Rjeenje:
Kodirajmo zadane simbole:
0,02
0,10
0,10
0,12
0,24
0,42
1
0
0
1
1
0
1
1
0
0
Dobivamo:
i
p
Kodna rije
i
l
0,4
2
0 1
0,2
4
10 2
0,1
2
110 3
0,1
0
1110 4
0,1
0
11111 5
0,0
2
11110 5
Srednja duljina kodne rijei L = 2,26 bit/simbol.
Dakle, prosjean broj bitova koji se prenesu komunikacijskim kanalom u jednoj sekundi je:
bit/s 904 bit/simbol 26 , 2 simbol/s 400 simbol/s 400
Te je trajanje binarnih simbola 0 i 1 jednako:
ms 1 , 1
1

T
Napomena: Da smo simbole kodirali Shannon-Fanoovom metodom, rjeenje bi izgledalo ovako:
Uvod u teoriju informacije i kodiranje 79
4 1 1 1 1 02 , 0
4 0 1 1 1 10 , 0
4 1 0 1 1 10 , 0
4 0 0 1 1 12 , 0
2 0 1 24 , 0
1 0 42 , 0
) (
6
5
3
4
1
2
x
x
x
x
x
x
l x p x
i i i
Uoite da se srednja duljina kodne rijei L nije promjenila, te time ni ostale vrijednosti traene u zadatku.
Uvod u teoriju informacije i kodiranje 80
Zadatak-4: Mirna digitalizirana slika s bojama A, B, C,, M opisana je tablicom:
(x
i
) A B C D E F G H I J K L M
(f
i
)
8000 1700 1400 1800 7000 4500 4500 5000 8000 2500 3000 3200 3800
xi - boja, fi frekvencija pojavljivanja pojedine boje
a) Odredite optimalni binarni kd za danu sliku (Huffman!).
b) Odredite vrijeme potrebno za prijenos optimalno kodirane slike izmeu dva raunala koja su povezana
modemskom vezom 33600 bit/s.
Rjeenje:
Zbrajanjem frekvencija pojavljivanja boja moemo dobiti ukupnu frekvenciju pojavljivanja boja (54400), a zatim i
vjerojatnosti pojavljivanja pojedine boje, tj.
p(A)= 8000/54400=0,1474 p(H)= 0,0919
p(B)= 0,0313 p(I)= 0,1471
p(C)= 0,0257 p(J)= 0,0460
p(D)= 0,0331 p(K)= 0,0551
p(E)= 0,1287 p(L)= 0,0588
p(F)= 0,0827 p(M)= 0,0699
p(G)= 0,1287
a) Huffmanov kd:
K (3000)
L (3200)
M (3800)
G (4500)
F (4500)
H (5000)
E (7000)
I (8000)
A (8000)
C (1400)
B (1700)
D (1800)
J (2500)
f
i
/ 54400
3100
4300
6100
8800
13100
9500
7000
15000
22600
16800
31800
54400
Uvod u teoriju informacije i kodiranje 81
Dobivamo:
simbol kodna rije
i
l
A 110 3
I 101 3
E 100 3
H 001 3
F 000 3
G 1111 4
M 0111 4
L 0110 4
K 0100 4
J 11101 5
D 11100 5
B 01011 5
C 01010 5
Ukupan broj bitova optimalno kodirane slike je jednak:
bita 192500 ... 3 7000 3 8000 3 8000 ) ( + + x I
b) Vrijeme potreno za prijenos optimalno kodirane slike modemskom vezom iznosi:
s 7292 , 5
s
bit
33600
bit 192500 ) (

C
x I
t
Uvod u teoriju informacije i kodiranje 82
Zadatak-5: Mirna digitalizirana slika zadana je histogramom:
boja (xi) x1 x2 x3 x4 x5 x6 x7 x8
frekvencija pojavljivanja 4096 2048 1024 512 128 128 128 128
Optimalno kodiranje slike (Huffman, binarni kd) provedeno je tako da je srednja duljina kodne rijei minimalna i
niti jedna kodna kompleksija nije dulja od etiri bita. Odredite vrijeme potrebno za prijenos optimalno kodirane slike
izmeu dva raunala koja su povezana modemskom vezom (56000 bit/s).
Rjeenje:
Da bi zadovoljili uvjete zadatka (niti jedan kodna ije nije dulja od etri bita) potrebno je vie simbola tretirati kao
grupu ija je vjerojatnost pojavljivanja jednaka sumi vjerojatnosti pojavljivanja simbola. Na ovaj nain smanjujemo
broj simbola koje treba kodirati, a time i duljinu kodnih rijei. Nadalje, grupe kodiramo optimalno, a simbole unutar
grupe ravnomjerno.
x1
x2
1/8 x3
1/16 x
4
1/64 x5
1/64 x6
1/64 x
7
1/64 x8
3/4
3/16
1/32
1/32
1
0
1
0
1
0
1
0
1
1
1
0
0
0
i
x
kodna rije
i
l
x1 11 2
x2 10 2
x3 011 3
x4 010 3
x5 0011 4
x6 0010 4
x7 0001 4
x8 0000 4
Broj bitova slike jednak je:
bita 18944 4 128 ... 2 2048 2 4096 ) ( + + + x I
Vrijeme potrebno za prijenos slike iznosi:
s 3382 , 0
56000
18944
t
Uvod u teoriju informacije i kodiranje 83
Zadatak-6: Neka je dano diskretno bezmemorijsko izvorite koje generira simbole xi, i = 1,..., 4. Nad danim skupom
simbola provedeno je optimalno kodiranje kako je to predoeno u tablici (Tablica 4.1). Generirana su etiri razliita
koda.
a) Provjerite je li zadovoljena Kraftova nejednakost za svaki kd?
b) Koje se od navedenih kodnih kompleksija mogu jednoznano dekodirati, a koje ne i zato?
Tablica 4.1
x
i
kd A kd B kd C kd D
x
1
00 0 0 0
x
2
01 10 11 100
x
3
10 11 100 110
x
4
11 110 110 111
Rjeenje:
a)
Kd A:
1
4
1
4 2
4
1

i
i
n
K
Kd B:
1
8
9
8
1
4
1
4
1
2
1
2
4
1
> + + +

i
i
n
K
Kd C:
1
8
1
8
1
4
1
2
1
2
4
1
+ + +

i
i
n
K
Kd D:
1
8
1
3
2
1
2
4
1
< +

i
i
n
K
Kd B ne zadovoljava Kraftovu nejednakost.
b) Kodovi A i D su isti prefiksni kodovi i mogu se jednoznano dekodirati. Kd B ne moe se jednoznano
dekodirati. Na primjer, kodna rije 11 je prefiks od kodne rijei 110. Kd C ne moe se jednoznano
dekodirati. Na primjer, binarni slijed 0110110 moe se dekodirati kao
4 4 1 4 1 2 1
ili x x x x x x x .
Napomena: Kraftova nejednakost odreuje minimalne duljine kodnih poruka potrebnih da bi se konstruirao
prefiksni kd.
Uvod u teoriju informacije i kodiranje 84
Zadatak-7: Neka je dana sluajna varijabla X s m jednako vjerojatnih ishoda. Odredite za koje vrijednosti varijable m
je srednja duljina kodne rijei (L) jednaka entropiji H(X).
Napomena: Kodiranje je provedeno Huffmanovim kodom.
Rjeenje:
Iz uvjeta zadatka dobivamo:



m
i
i i
m
i
i i
p p l p
1
2
1
log
Svi ishodi varijable X su jednako vjerovatni, tj.:
l l l l i m i m p
m i
... ,..., 1 , / 1
2 1
Dakle vrijedi:
m
m
m l
m
m
m
m
l
m
p m
l
m
m
i
m
i
i
m
i i
m
i
i
2
1
2
1
1
2
1
log
1 1
log
1 1
1
log
1 1







Te je N. , 2 ili N , 2 i m l m
i l
Uvod u teoriju informacije i kodiranje 85
Zadatak-8: Dan je skup simbola X = {s, w, i, m, _} s vjerojatnostima pojavljivanja p- = 0.1, pm = 0.1, pi = 0.2, , pw =
0.1, ps = 0.5. Optimalno kodirajte poruku "swiss_miss" koristei aritmetiko kodiranje.
Rjeenje:
Simbol Frekvencija
pojavljivanja
Vjerojatnosti
pojavljivanja
Komulativni
podskupovi, [Ds, Gs)
S 5 0.5 [0, 0.5)
W 1 0.1 [0.5, 0.6)
I 2 0.2 [0.6, 0.8)
M 1 0.1 [0.8, 0.9)
_ 1 0.1 [0.9, 1)
Kodirajmo zadanu poruku:
D = 0; G = 1
S: D = D + (G-D) Ds=0+(1-0) 0=0
G = D + (G-D) Gs=0+(1-0) 0.5=0.5
D = 0
G = 0.5
W: D = 0 + (0.5-0) 0.5=0.25
G = 0 + (0.5-0) 0.6=0.3
D = 0.25
G = 0.3
I: D = 0.25 + (0.3-0.25) 0.6=0.28
G = 0.25 + (0.3-0.25) 0.8=0.29
D = 0.28
G = 0.29
S: D = 0.28 + (0.29-0.28) 0=0.28
G = 0.28 + (0.29-0.28) 0.5=0.285
D = 0.28
G = 0.285
S: D = 0.28 + (0.285-0.28) 0=0.28
G = 0.28 + (0.285-0.28) 0.5=0.2825
D = 0.28
G = 0.2825
-: D = 0.28 + (0.2825-0.28) 0.9=0.28225
Uvod u teoriju informacije i kodiranje 86
G = 0.28 + (0.2825-0.28) 1=0.2825
D = 0.28225
G = 0.2825
M: D = 0.28225 + (0.2825-0.28225) 0.8=0.28245
G = 0.28 + (0.2825-0.28225) 0.9=0.282475
D = 0.28245
G = 0.282475
I: D = 0.28245 + (0.282475-0.28245) 0.6=0.282465
G = 0.28248 + (0.282475-0.28245) 0.8=0.28247
D = 0.282465
G = 0.28247
S: D = 0.282465 + (0.28247-0.282465) 0=0.282465
G = 0.282465 + (0.28247-0.282465) 0.5=0.2824675
D = 0.282465
G = 0.2824675
S: D = 0.282465 + (0.2824675-0.282465) 0=0.282465
G = 0.282465 + (0.2824675-0.282465) 0.5=0.282466625
D = 0.282465
G = 0.28246625
Dakle, rjeenje je bilo koji broj iz intervala [0.282465, 0.28246625).
Uvod u teoriju informacije i kodiranje 87
Zadatak-9: Dan je skup simbola X = {1, 2, 3} s vjerojatnostima pojavljivanja p1 = 0.8, p2 = 0.02 i p3 = 0.18.
Dekodirajte primljenu kodiranu poruku 0.772352 duljine 4 simbola koja je kodirana aritmetikim kodom.
Rjeenje:
Simbol Vjerojatnosti
pojavljivanja
Komulativni
podskupovi, [Ds, Gs)
1 0.8 [0, 0.8)
2 0.02 [0.8, 0.82)
3 0.18 [0.82, 1)
Dekodiranje poruke kodirane aritmetikim kodom se provodi tako da se raunaju pripadni intervali za svaki simbol i
provjerava kojem intervalu kodirana poruka pripada.
Postupak se ponavlja onoliko puta koliko je poruka duga.
L = 0.772352 => oito je da kodirana poruka pripada intervalu [0, 0.8), te je prvi simbol poruke `1`.
D = 0; G = 0.8
1: D = D + (G D)Ds=0 + (0.8-0)0=0
G = D + (G D)Gs=0 + (0.8-0)0.8=0.64
2: D = 0 + (0.8 0)0.8=0.64
G = 0 + (0.8 0)0.82=0.6560
3: D = 0 + (0.8 0)0.82=0.6560
G = 0 + (0.8 0)1=0.8
Vidimo da kodirana poruka pripada podintervalu treeg simbola, tj. drugi simbol poruke je `3`.
D = 0.6560; G = 0.8
1: D = 0.6560 + (0.8 0.6560)0=0.6560
G = 0.6560 + (0.8 0.6560)0.8=0.7712
2: D = 0.6560 + (0.8 0.6560)0.8=0.7712
G = 0 - 6560 + (0.8 0.6560)0.82=0.7741
Trei simbol poruke je simbol `2`.
D = 0.7712; G = 0.7741
1: D = 0.7712 + (0.7741 0.7712)0=0.7712
G = 0.7712 + (0.7741 0.7712)0.8=0.7735
I etvrti simbol poruke je `1`, tj. poruke L = 1321.
Uvod u teoriju informacije i kodiranje 88
Zadatak-10: Na izvoru se pojavljuju etiri simbola {1, 2, 3, 4}. Odnos vjerojatnosti pojavljivanja simbola je
p1:p2:p3:p4=1:2:3:4. Slijed od 5 simbola kodiran je aritmetikim kodom i dobivena je kodirana poruka (binarni
zapis!):
(0.0011101)2
a) Odredite prva etiri simbola iz kodiranog slijeda.
b) Kodirajte aritmetikim kodom slijed od 4 simbola 2134.
Rjeenje:
Izraunajmo vjerojatnosti pojavljivanja i komulativne podskupove za dane simbole:
Simbol Vjerojatnosti
pojavljivanja
Komulativni
podskupovi, [Ds, Gs)
1 0.1 [0, 0.1)
2 0.2 [0.1, 0.3)
3 0.3 [0.3, 0.6)
4 0.4 [0.6, 1)
a) Kodirana poruka L, pretvorena u dekadski sustav, iznosi L = (0,2265625)10.
Sada moemo dekodirati kodiranu poruku (zbog slinosti s prethodnim zadatkom, postupak emo pisati
skraeno):
L = 0.2265625 => [0.1, 0.3) prvi simbol kodiranog slijeda je 2.
D=0.1, G=0.3
1: D = 0.1
G = 0.12
2: D = 0.12
G = 0.16
3: D = 0.16
G = 0.22
4: D = 0.22
G = 0.3
L = 0.2265625 => [0.22, 0.3) drugi simbol kodiranog slijeda je 4.
D = 0.22, G = 0.3
1: D = 0.22, G = 0.228 => trei simbol kodiranog slijeda je 1.
D = 0.22, G = 0.228
1: D = 0.2200
G = 0.2208
2: D = 0.2208
G = 0.2224
3: D = 0.2224
G = 0.2248
4: D = 0.2248
G = 0.2280
etvrti simbol kodiranog slijeda je 4, tj. rjeenje je 2414.
Uvod u teoriju informacije i kodiranje 89
b) Kodirajmo slijed 2134:
D = 0; G = 1
2: D = D + (G-D) Ds=0+(1-0) 0.1=0.1
G = D + (G-D) Gs=0+(1-0) 0.3=0.3
D = 0.1
G = 0.3
1: D = 0.1 + (0.3-0.1) 0=0.10
G = 0.1 + (0.3-0.1) 0.1=0.12
D = 0.10
G = 0.12
3: D = 0.10 + (0.12-0.10) 0.3=0.106
G = 0.10 + (0.12-0.10) 0.6=0.112
D = 0.106
G = 0.112
4: D = 0.106 + (0.112-0.106) 0.6=0.1096
G = 0.106 + (0.112-0.106) 1=0.1120
D = 0.1096
G = 0.1120
Rjeenje je bilo koji broj iz intervala [0.1096, 0.1120).
Uvod u teoriju informacije i kodiranje 90
Zadatak-11: Koristei algoritam LZ77 kodirajte poruku abaabbabaacaacabb uzimajui pri tome da je maksimalna
duljina posminog prozora i prozora za kodiranje 6, odnosno 5 simbola.
Rjeenje:
Kodiranjem poruke abaabbabaacaacabb algoritmom LZ77 uz zadane parametre dobivamo:
(0,0,a), (0,0,b), (2,1,a), (3,1,b), (6,4,c), (3,4,b), (1,1,kraj).
Postupak kodiranja
a b a a b b a b a a c a a c a b b
(0,0,a)
a b a a b b a b a a c a a c a b b (0,0,b)
a b a a b b a b a a c a a c a b b (2,1,a)
a b a a b b a b a a c a a c a b b (3,1,b)
a b a a b b a b a a c a a c a b b (6,4,c)
a b a a b b a b a a c a a c a b b (3,4,b)
a b a a b b a b a a c a a c a b b (1,1,kraj)
posmini prozor
prozor za kodiranje
(pomak,duljina, sljedei simbol)
Legenda:
Uvod u teoriju informacije i kodiranje 91
Zadatak-12: Uzimajui polazni rjenik D gdje je D[0] = A, D[1] = B, D[2] = C i D[3] = D kodirajte poruku
BABAABAAA koristei algoritam LZW.
Rjeenje:
Polazni rjenik:
D[0] = A
D[1] = B
D[2] = C
D[3] = D
Postupak kodiranja:
A1) Na poetku radna rije postaje prvi ulazni simbol => RadnaRije =B
A2) Zatim s ulaza uzimamo slijedei simbol poruke => NoviSimbol = A
Radna rije proirena s tim novim simbolom daje novu rije:
RadnaRije + NoviSimbol = BA => nije u rjeniku.
Ako nova rije nije u rjeniku, ona se dodaje u rjenik, a na izlaz kodera se alje kd za radnu rije. D[4] = BA
(BA dodan u rjenik), na izlaz se alje 1 (kd za simbol B).
Simbol dobiven sa ulaza sada postaje radna rije => RadnaRije = A.
B1) RadnaRije =A
B2) NoviSimbol = B => RadnaRije + NoviSimbol = AB => nije u rjeniku.
D[5] = AB, na izlaz se alje 0 (kd za simbol A).
C1) RadnaRije =B
C2) Novisimbol = A => RadnaRije + NoviSimbol = BA => postoji u rjeniku.
Ako nova rije postoji u rjeniku, onda ona postaje radna rije:
RadnaRijeBA.
NoviSimbol = A => RadnaRije + NoviSimbol = BAA => nije u rjeniku.
D[6] = BAA, na izlaz se alje 4 (kd za simbol BA).
D1) RadnaRije =A
D2) NoviSimbol = B => RadnaRije = AB
NoviSimbol = A=> RadnaRije + NoviSimbol = ABA => nije u rjeniku.
D[7] = ABA, na izlaz se alje 5 (kd za simbol AB).
E1) RadnaRije =A
E2) NoviSimbol = A=> RadnaRije + NoviSimbol = AA => nije u rjeniku.
D[8] = AA, na izlaz se alje 0 (kd za simbol A).
F1) RadnaRije =A
F2) NoviSimbol = A => RadnaRije = AA
NoviSimbol = ", na izlaz se alje 8 (kd za simbole AA).
Kodna rije je 1 0 4 5 0 8.
Uvod u teoriju informacije i kodiranje 92
Zadatak-13: Uzimajui polazni rjenik D gdje je D[0] = a, D[1] = b i D[2] = c dekodirajte kodiranu poruku 0 0 1 4 0
2 5 0 koristei algoritam LZW.
Rjeenje:
Proces dekodiranja poruka kodiranih algoritmom LZW sastoji se od zamjenjivanja kodova pojedinih simbola samim
simbolima i nadopunjavanju rjenika pri tome. Tako u zadanom primjeru prva dva simbola su nule. To znai ne
samo da su prva dva simbola poruke aa, ve i da je etvrti simbol rjenika aa, tj. D[3] = aa.
Dekodirajmo sada danu poruku:
a a b a b a c b a a
0 0 1 4 0 2 5 0
D[3]
D[4]
D[5]
D[6]
D[7]
D[8]
Proireni rjenik:
D[3] = aa D[6] = aba
D[4] = ab D[7] = ac
D[5] = ba D[8] = cb
Uvod u teoriju informacije i kodiranje 93
Zadatak-14: Uzimajui polazni rjenik D gdje je D[1] = r, D[2] = a, D[3] = b, D[4] = o i D[5] = w dekodirajte
kodiranu poruku 5 2 3 3 2 1 6 8 10 12 9 11 7 16 5 4 4 11 21 23 4 koristei algoritam LZW.
Rjeenje:
Koristei postupak opisan u prethodnom zadatku dobivamo rjeenje:
wabbarwabbarwabbarwabbarwoorwoorwoo.
Rjenik:
D[6] = wa
D[7] = ab
D[8] = bb
D[9] = ba
D[10] = ar
D[11] = rw
D[12] = wab
D[13] = bba
D[14] = arw
D[15] = wabb
D[16] = bar
D[17] = rwa
D[18] = abb
D[19] = barw
D[20] = wo
D[21] = oo
D[22] = or
D[23] = rwo
D[24] = oor
D[25] = rwoo

Uvod u teoriju informacije i kodiranje 94
Zadatak-15: Uzimajui polazni rjenik D gdje je D[1] = a i D[2] = b kodirajte poruku ababababaaaab koristei
algoritam LZW. Dekodirajte kodiranu sekvencu koristei isti polazni rjenik.
Rjeenje:
Polazni rjenik:
D[1] = a
D[2] = b
Postupak kodiranja:
(Zbog velike slinosti s prethodnim zadacima kodiranje neemo detaljnjije raspisivati.).
a b a b a b a b a a a a b
1
2
3
5
4
1
8 2
Proireni rjenik:
D[3] = ab D[7] = baa
D[4] = ba D[8] = aa
D[5] = aba D[9] = aab
D[6] = abab
Kodirana poruka glasi: 1 2 3 5 4 1 8 2.
Uvod u teoriju informacije i kodiranje 95