1

7 KOMUNIKACIJSKI KANALI
SA SMETNJAMA (UMOM)

Uvod
Diskretni kanal bez memorije
Kapacitet diskretnog kanala sa smetnjama
Problem diskretnog kanala sa umom
Kodiranje u kanalima sa umom
Kontinuirani kanal sa umom

7.1 Uvod

Komunikacija izmeu predajnika i prijamnika openito je popraena vanjskim smetnjama koje
unose odreenu razinu nesigurnosti prijenosa informacije. U realnim kanalima smetnje nastaju
zbog umova u elektronikim elementima, umova iz okoline, zbog fluktuacije karakteristika
kanala, zbog interferencije unutar samog kanala i interferencije drugih susjednih kanala, kao i
zbog neidealne sinkronizacije. U cilju nadvladavanja svih ovih prepreka prijenosu informacije,
predajni signal je potrebno transformirati u oblik koji omoguuje tzv. transparentni prijenos,
tako da je signal (nosioc informacije), koliko je to mogue, otporan na smetnje. Uvjeti prijenosa
u takvu transparentnom kanalu ne ovise o karakteristikama ulaznog signala. Realizacija
transparentnog prijenosa obavlja se pomou kodera signala (kanala) ija rjeenja e biti
analizirana u slijedeim poglavljima.

kanal
x X y Y
n N
smetnje


Slika 7.1 Kanal sa smetnjama

Za sluaj diskretnog izvora, primljeni simbol y
j
na slici 7.1 predstavlja "izoblieni" odaslani
simbol x
j
. Oblik izoblienja ovisi o tipu kanala. Za kontinuirane kanale sa umom, izlaz iz kanala
je sluajna kontinuirana varijabla, a za diskretne kanale s diskretnim umom izlaz iz kanala je
diskretna sluajna varijabla. Broj simbola u Y moe biti isti ili razliit od broja simbola u
ulaznom skupu X. Za vremenski invarijantne kanale s memorijom, izlazni simbol y e openito
ovisiti ne samo o poslanom simbolu x i o umu u kanalu n nego i o prethodnim ulazima, odnosno
o stanju kanala s. Primljeni simbol y odreen je dakle uvjetnom vjerojatnou p(y/x,s). Za
kanale bez memorije (DMC) izlazni simbol ne ovisi o prethodnim ulazima, tako da je primljeni
simbol y odreen preko p(y/x).

Za diskretne e kanale bez memorije, dakle, vrijediti:
(7.1)

=
=
n
i
i i
x y p x y p
1
) / ( ) / (



2
Ulazni simboli x su openito n-torke, tj. n-lani nizovi iji elementi x
i
poprimaju neku od
vrijednosti upotrijebljene abecede A sa L znakova. Vrijedi dakle:
{ }
L i
a a a x x x x
n
,..., , ) ,..., , (
2 1 2 1
= = A X x
Prostor X koji sadri n razliitih simbola x
i
je openito prostor, odnosno podprostor svih
moguih n-lanih simbola X
n
, tj. vrijedi X X
n
.

Sa stajalita kodnog stabla, relacija X X
n
odgovara situaciji gdje sve mogue kodne
grupe na krajevima stabla nisu uzete kao vrijedne kodne grupe, tj. kao kodne rijei. Prirodni
jezik je tipian primjer ovakva kodiranja, gdje je X "mali" podskup od X
n
.

7.2 Diskretni kanal bez memorije

Diskretni kanal bez memorije oznaava kanal koji na ulazu ima diskretan skup N
x
simbola, tj.
x
i
X ; i=1,2,...,N
x
, a na izlazu takoer diskretan skup N
y
simbola, tj. y
j
Y ; j=1,2,...,N
y
.
Utjecaj uma u kanalu je definiran uvjetnom vjerojatnou p(y/x) (slika 7.2).

diskretni kanal
P(y/x)
x X y Y


Slika 7.2 Model diskretnog kanala bez memorije

Uvjetne vjerojatnosti p(y
j
/x
i
) tvore (N
x
x N
y
) matricu uvjetnih vjerojatnosti P koja potpuno
definira diskretni kanal, zbog ega je i nazvana matrica kanala:
(7.2)

=
) / ( ) / ( ) / (
) / ( ) / ( ) / (
) / ( ) / ( ) / (
2 1
2 2 2 2 1
1 2 2 1 1
x y x x
y
y
N N N N
N
N
x y p x y p x y p
x y p x y p x y p
x y p x y p x y p
L
M M M
L
L
P
Neki ulazni simbol x
i
zbog utjecaja smetnji prelazi uvijek u neki izlazni simbol y
j
, tako da e
vrijediti:

x
N
j
i j
N i x y p
y
,..., 2 , 1 1 ) / (
1
= =

=

Ako se uzme kanal bez smetnji, izlazni simbol e uvijek biti jednak ulaznom, tj. srednji sadraj
informacije po ulaznom simbolu je bez gubitka prenesen na izlaz. Matrica kanala bez smetnji je
oblika:

=
0 1 0 0
0 0 0 1
0 0 1 0
L
M M M M
L
L
P
tj. svi reci i stupci imaju samo jednu jedinicu, tako da svakom izlaznom simbolu y
j
jednoznano,
s vjerojatnou 1, odgovara neki ulazni simbol x
i
. Ako se uzme da su indeksi simbola u odnosu


3
1:1, onda je matrica kanala jedinina, tj. P = I, pa vrijedi:

=
=
j i
j i
x y p
i j
0
1
) / (
Ako se ulazni simboli javljaju s raspodjelom vjerojatnosti p(x
i
), raspodjela vjerojatnosti izlaznih
simbola p(y
j
) je odreena relacijom:


= =
i
i j i
i
j i j
x y p x p y x p y p ) / ( ) ( ) , ( ) (
odnosno:
P P P =
x y
gdje su
[ ] ) ( ) ( ) (
2 1
x
N x
x p x p x p L = P
[ ] ) ( ) ( ) (
2 1
y
N y
y p y p y p L = P
jednoredne matrice, a P je (N
x
x N
y
) matrica kanala.

Na osnovi {p(x
i
)}, {p(y
j
)} i matrice kanala P moe se definirati entropija ulaza H(X), entropija
izlaza H(Y), te zdruena entropija H(X,Y), kao i uvjetna entropija H(Y/X) i H(X/Y). Vrijedi:
(7.3) simbol bita x p ld x p X H
x
N
i
i i
/ ) ( ) ( ) (
1

=
=
gdje je H(X) mjera srednjeg sadraja informacije ulaznog skupa X.

Entropija izlaza:
(7.4) simbol bita y p ld y p Y H
y
N
j
j j
/ ) ( ) ( ) (
1

=
=
je mjera srednjeg sadraja informacije izlaznog skupa Y.

Zdruena entropija:
(7.5) simbol bita y x p ld y x p Y X H
x
y N
i
N
j
j i j i
/ ) , ( ) , ( ) , (
1 1

= =
=
je mjera srednjeg sadraja informacije ulazno-izlaznog para simbola, odnosno sa stajalita
prijenosa (7.5) predstavlja srednju neodreenost komunikacijskog sustava ukljuivi izvor, kanal
i odredite.

Uvjetna entropija:
(7.6) simbol bita x y p ld y x p X Y H
x y N
i
N
j
i j j i
/ ) / ( ) , ( ) / (
1 1

= =
=
je mjera srednjeg sadraja informacije koja je potrebna da se odredi izlaz kad je poznat ulaz.
Neodreenost (7.6) je posljedica uma, pa se naziva i irelevantnost.

Uvjetna entropija:
(7.7) simbol bita y x p ld y x p Y X H
x
y N
i
N
j
j i j i
/ ) / ( ) , ( ) / (
1 1

= =
=
je mjera srednjeg sadraja informacije potrebne da se odredi poslani simbol x kad je primljen


4
simbol y. Zbog svog znaenja, H(X/Y) definirana relacijom (7.7), zove se i ekvivokacija.
Ekvivokacija kanala predstavlja izgubljeni srednji sadraj informacije u kanalu sa umom.

Na osnovi iznesenog moe se nadalje definirati srednji preneseni sadraj informacije kao
razliku izmeu neodreenosti na ulazu (apriorna entropija) i neodreenosti koja preostaje nakon
prijama (aposteriorna entropija), tj:
(7.8) simbol bita Y X H X H Y X I / ) / ( ) ( ) ; ( =
Takoer vrijedi:
(7.9) simbol bita X Y H Y H Y X I / ) / ( ) ( ) ; ( =
Analogno relaciji (4.12) vrijedi i ovdje:
) / ( ) ( ) / ( ) ( ) , ( Y X H Y H X Y H X H Y X H + = + = (7.10)
uz H(Y/X) H(Y) i H(X/Y) H(X), pa se (7.8) moe pisati kao:
(7.11) simbol bita Y X H Y H X H Y X I / ) , ( ) ( ) ( ) ; ( + =
Relacije (7.8) do (7.11) mogu biti ilustrirane pomou informacijskih tokova (slika 7.3) ili
pomou Vennova dijagrama (slika 7.4). Oito vrijedi:
) ( ) ; ( 0 X H Y X I

H(X) H(Y) I(X;Y)
H(Y/X)
H(X/Y)
entropija
izvora
izvor odredite
entropija
na prijamu
"ekvivokacija"
"irelevantnost"


Slika 7.3 Informacijski tokovi u kanalu sa umom

I(X;Y) H(Y) H(X) H(X/Y) H(Y/X)
H(X,Y)


Slika 7.4 Vennov dijagram za kanal sa umom

Na temelju izraza (7.8) do (7.11), odnosno slika 7.3 i 7.4, moe se lako razmotriti slijedea tri
sluaja:

a) Kanal bez uma

Za kanal bez uma vrijedi H(X/Y) = H(Y/X) = 0, te H(X,Y) = H(X) = H(Y), pa je prenesen
cjelokupan sadraj informacije, tj.
) ( ) , ( X H Y X I =


5

b) Neupotrebljivi kanal

Ovaj granini sluaj nastaje kad su X i Y neovisni, tj. H(X) H(Y) = 0, to znai da vrijedi
H(X/Y) = H(X), H(Y/X) = H(Y), te H(X,Y) = H(X) + H(Y), pa je preneseni sadraj informacije
jednak nuli, tj.:
0 ) ; ( = Y X I
Drugim rijeima, cjelokupna informacija izvora je izgubljena u kanalu. Za neupotrebljivi kanal
matrica kanala ima jednake sve retke, tj. vrijedi:
j i sve za y p x y p
j i j
, ) ( ) / ( =

c) Simetrini kanal

Simetrini kanal je definiran matricom kanala P koja ima svojstvo da svi reci sadre isti skup
brojeva p
j
; j = 1, 2, ..., N
y
i svi stupci sadre isti skup brojeva q
i
; i = 1, 2, ..., N
x
. Zbog
posljednjeg svojstva matrice kanala P, izraz (7.6) moe biti pisan u obliku:
(7.12)

=
=
x
N
i
i i
x Y H x p X Y H
1
) / ( ) ( ) / (
gdje je:
(7.13)

=
=
y
N
j
i j i j i
x y p ld x y p x Y H
1
) / ( ) / ( ) / (
Nadalje, zbog toga to reci sadre isti skup brojeva p
j
, izraz (7.13) poprima oblik:

=
=
y
N
j
j j i
p ld p x Y H
1
) / (
pa uvrtenjem u (7.12) slijedi:
(7.14)
r
N
j
j j
H p ld p X Y H
y
= =

=1
) / (
jer je

=
=
x
N
i
i
x p
1
1 ) (
Dakle, uvjetna entropija H(Y/X) simetrinog kanala ne ovisi o p(x
i
) nego samo o matrici P,
odnosno jednaka je entropiji retka (bilo kojeg) matrice kanala.

Preneseni sadraj informacije za simetrine kanale je dakle:

r
H Y H Y X I = ) ( ) ; (

Primjer 7.1 BSC kanal

Zadan je binarni simetrini kanal (BSC) s ulaznom abecedom i matricom kanala (slika 7.5):

= =
=
9 . 0 1 . 0
1 . 0 9 . 0
4
1
) (
4
3
) (
2 1
2 1
P X
x p x p
x x



6

x ; p(x ) = 3/4
1 1
x ; p(x ) = 1/4
2 2
x
1
x
2
0
1
0
1
0
1
p(0/0)
p(1/1)
p(0/1) p(1/0)
y = 0
1
y = 0
2
x
1
x
2
izvor
informacije
koder
informacije
dekoder
informacije
kanal
sa umom


Slika 7.5 Primjer binarnog simetrinog kanala (BSC)

Srednji raspoloivi sadraj informacije ulaza jednak je entropiji ulaza:
simbol bita ld ld x p ld x p X H
i
i i
/ 811 . 0 4
4
1
3
4
4
3
) ( ) ( ) (
2
1
= + = =

=

Preneseni sadraj informacije je razlika izmeu ulazne entropije H(X) i neodreenosti koja
ostaje nakon prijama (izraz (7.8)):
) / ( ) ( ) ; ( Y X H X H Y X I =
gdje je prema (7.7):

=
j i
j i j i
y x p ld y x p Y X H
,
) / ( ) , ( ) / (
Budui da vrijedi:
) / ( ) ( ) / ( ) ( ) , (
j i j i j i j i
y x p y p x y p x p y x p = =

) (
) , (
) / (
j
j i
j i
y p
y x p
y x p =

=
i
j i j
y x p y p ) , ( ) (
vrijedi i:

p(y
j
/x
i
) y
1
y
2
p(x
i
)
x
1
0.9 0.1 3/4
x
2
0.1 0.9 1/4

p(x
i
,y
j
) y
1
y
2
p(x
i
)
x
1
0.675 0.075 3/4
x
2
0.025 0.225 1/4
p(y
j
) 0.7 0.3 1

p(x
i
/y
j
) y
1
y
2
x
1
0.964 0.25


7
x
2
0.036 0.75

Izgubljeni sadraj informacije odgovara preostaloj neodreenosti, tj.:
simbol bita y x p ld y x p Y X H
j i
j i j i
/ 4 . 0 ) / ( ) , ( ) / (
,
= =

pa je preneseni sadraj informacije:
simbol bita Y X I / 0411 4 . 0 811 . 0 ) ; ( = =
Uoava se vrlo otar utjecaj smetnji u kanalu, jer je uz 10% pogrenih simbola, preneseni
sadraj informacije gotovo prepolovljen.
Jednostavniji put za proraun H(X/Y) daje izraz (7.14):

=
=
2
1
) / (
i
j j
p ld p Y X H
gdje su p
j
; j = 1, 2 brojevi u nekom retku matrice P.
Vrijedi:
simbol bita ld ld Y X H / 4 . 0 1 . 0 1 . 0 9 . 0 9 . 0 ) / ( = = . g

7.3 Kapacitet diskretnog kanala sa smetnjama

Primjer 7.1 je ilustrativan za definiciju kapaciteta kanala. Preneseni sadraj informacije I(X;Y)
ne ovisi samo o kanalu, tj. o H(X/Y), nego naravno i o H(X), odnosno o raspodjeli vjerojatnosti
ulaznih simbola p(x
i
). Za BSC vrijedi:

r
H Y H X Y H Y H Y X I = = ) ( ) / ( ) ( ) ; (
Ako je vjerojatnost greke p (slika 7.6), slijedi:
) 1 ( ) 1 ( ) ( ) ; ( p ld p p ld p Y H Y X I + + = (7.15)

x
1
x
2
y
1
y
2
1 - p
1 - p
p
p


Slika 7.6 BSC kanal

Slika 7.7 ilustrira relaciju (7.15) gdje se vidi ovisnost I(X;Y) o ulaznoj raspodjeli vjerojatnosti
p(x
i
), uz p kao parametar. Proizlazi da maksimalni preneseni sadraj informacije ovisi o
smetnjama u kanalu, ali taj maksimalni iznos je ostvariv samo uz ravnomjernu raspodjelu ulaznih
poruka p(x
i
).

Za BSC to znai da ulazna raspodjela p(x
1
) = p(x
2
) = 0.5 osigurava da srednji sadraj
informacije ovisi samo o smetnjama u kanalu. Ova maksimalna vrijednost I(X;Y) predstavlja
dakle raspoloivi kapacitet kanala C.



8
0.1
0.2
0.3
0.4
0.5
0.6
1
0.9
0.8
0.7
0.1 0.5 1
I(X;Y)
p(x)
i
p = 0.0
p = 0.1
p = 0.2
p = 0.5


Slika 7.7 Ovisnost srednje prenesene informacije o vjerojatnosti
ulaznih simbola za nekoliko tipinih BSC kanala

Kapacitet kanala predstavlja dakle onaj maksimalni iznos srednjeg sadraja informacije koji je
mogue prenijeti preko kanala sa umom, tj. vrijedi:
[ ) / ( ) ( max ) ; ( max
) ( ) (
X Y H Y H Y X I C
x p x p
] = = (7.16)
Kapacitet kanala, kao karakteristika koja predstavlja neki kanal, je zanimljiv jer se takvim
kanalom moe prenijeti informacija s proizvoljno malom grekom, ako je brzina prijenosa manja
od kapaciteta kanala. Inae, ako je brzina prijenosa iznad kapaciteta kanala, prijenos bez gubitka
informacije je nemogu (poglavlje 7.4).

Za opi sluaj kanala proraun kapaciteta je sloen. Opi algoritam je dan u /1/. Stoga je
zanimljivo pogledati neke posebne sluajeve kanala za koje je proraun kapaciteta jednostavan.

a) Kanal bez gubitaka

Kad nema gubitka informacije, tj. kad vrijedi H(Y/X) = 0, kapacitet je jednak
maksimalnoj entropiji izlaza, koja je ista kao i maksimalna entropija ulaza. Maksimalna entropija
je dana uz ravnomjernu raspodjelu, dakle:
simbol bita N ld X H C
x p
/ ) ( max
) (
= =
gdje je N broj simbola.

Za kanal bez gubitaka izlazni simboli se mogu podijeliti u podskupove D
1
, D
2
, ..., D
N
tako da
vrijedi:
{ } N i za x X y p
i i
,..., 2 , 1 1 / = = = D
tj. odaslani simbol x
i
je jednoznano odreen kad je primljen simbol y iz skupa D
i
, bez obzira na
raspodjelu ulaza (slika 7.8).



9
x
1
x
2
y
x
i
x
N
ulaz kanal izlaz
p(y/x)
i
p(y/x )
N
y
i1
y
i2
y
ik
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
D p(x /y D ) = 1
1 1 1
D p(x /y D ) = 1
2 2 2
D p(x/y D) = 1
i i i
D p(x /y D ) = 1
N N N
.
.
.
.
.
.


Slika 7.8 Kanal bez gubitka

Kanal bez gubitaka oito nije nuno i kanal bez smetnji. Meutim, utjecaj smetnji je takav da
prijamnik moe na osnovi primljenog simbola uvijek odluiti bez greke o poslanom simbolu.
Matrica kanala bez gubitaka je takva da nijedan od stupaca nema vie od jednog elementa koji je
razliit od nule, tj. najopenitijeg je oblika:
(7.17)

=
0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
X X
X
X
X X
X X
L
L
M M M M M M M M
L
L
L
P
Kapacitet kanala bez gubitka je dakle:
simbol bita N ld C / =

b) Deterministiki kanal

Kanal je deterministiki kad svaki podskup simbola na ulazu daje najvie jedan izlazni simbol
(slika 7.9), tj. vrijedi:
) ( , 0 1 ) / (
i i j
x p o neovisno ili x y p =
Za ovaj kanal takoer vrijedi H(Y/X) = 0, tj. deterministiki kanal je takav kanal u kojemu ulaz
x
i
predodreuje izlaz y
j
. Ovaj kanal obavlja npr. grupiranje (tipino kod sustava s
prepoznavanjem oblika).



10
y
1
y
i
ulaz kanal izlaz
p(y/x)
i
.
.
.
.
.
.
.
.
.
.
.
.
C
1
C
i
.
.
.
p(y /x)
1
x
1
x
4
x
i
x
i+1
x
i+k
p(x C/y) = 1
i i
.
.
.
p(x C /y ) = 1
1 1
.
.
.


Slika 7.9 Deterministiki kanal

Za razliku od kanala bez gubitaka, deterministiki kanal opisan je matricom kanala iji nijedan
redak nema vie od jednog elementa koji je razliit od nule:
(7.18)

=
0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
L
L
M M M M M M M
L
L
L
X
X
X
X
X
P

Kapacitet deterministikog kanala je takoer:
simbol bita N ld C / =
gdje je N broj izlaznih simbola.

c) Kanal bez smetnji

Kanal je bez smetnji kad je kanal istodobno i bez gubitaka i deterministiki (slika 7.10).
Naravno, ovdje takoer vrijedi H(Y/X) = 0. Matrica kanala bez smetnji je kvadratna s po samo
jednim elementom po stupcu i retku razliitim od nule, odnosno obino je to jedinina matrica:

=
1 0 0 0
0 0 1 0
0 0 0 1
L
M M M M
L
L
P



11
y
1
y
i
ulaz kanal izlaz
.
.
.
.
.
.
x
1
x
2
x
i
x
N
p(x /y ) = 1
1 1
.
.
.
.
.
.
.
.
.
y
2
y
N
.
.
.
.
.
.
p(x /y ) = 1
2 2
p(x /y ) = 1
N N
p(x/y) = 1
i i
.
.
.
odluka


Slika 7.10 Kanal bez smetnji

Kapacitet kanala bez smetnji je takoer:
simbol bita N ld C / =

d) Neupotrebljivi kanal

Neupotrebljivi kanal ima kapacitet jednak nuli. Ovaj uvjet je zadovoljen kad je neodreenost
nakon prijama jednaka cjelokupnoj ulaznoj neodreenosti:
0 ) ; ( ) ( ) / ( = = Y X I X H Y X H
za bilo koju raspodjelu p(x). Drugim rijeima, skupovi Y i X su neovisni, odnosno vrijedi:
j i sve za y p x y p
j i j
, ) ( ) / ( =
to znai da matrica neupotrebljiva kanala ima retke koji su meusobno identini.

=
N
N
N
p p p
p p p
p p p
L
M M M
L
L
2 1
2 1
2 1
P
Vrijedi dakle:
j i sve za y p x y p x y p
j i
, ) ( ) / ( ) / ( = =

y
1
y
i
ulaz kanal izlaz
.
.
.
.
.
.
x
1
x
2
x
i
x
N
p(x /y ) = 1/N
1 1
.
.
.
.
.
.
y
2
y
N
p(x /y ) = 1/N
2 2
p(x /y ) = 1/N
N N
p(x/y) = 1/N
i i
odluka
.
.
.
.
.
.
p(y/x)
i
p(y/x )
N


Slika 7.11 Neupotrebljivi kanal

Za primjer slika 7.12 ilustrira binarni neupotrebljivi kanal.



12
x
1
x
2
y
1
y
2
1 - p
1 - p
p
p
ulaz kanal izlaz


Slika 7.12 Binarni neupotrebljivi kanal

e) Simetrini kanal

Kako je ve definirano, kanal je simetrian kad svaki redak matrice kanala sadri isti skup
vrijednosti p
j
i svaki stupac matrice P sadri isti skup vrijednosti q
i
. Npr.

=
3
1
3
1
6
1
6
1
6
1
6
1
3
1
3
1
2
1
6
1
3
1
3
1
2
1
6
1
6
1
3
1
2
1
P P ili
Reci i stupci su dakle identini, izuzev za permutaciju elemenata.

Posljedica spomenutog svojstva matrice simetrinog kanala P je da uvjetna entropija H(Y/X) ne
ovisi o raspodjeli p(x), nego samo o p(y/x), tako da vrijedi (7.14).
Budui da svi reci imaju isti skup vrijednosti, moe se pisati:
) ( ) / ( retka entropija H X Y H
r
=
Da se nae max{I(X;Y)} potrebno je dakle maksimizirati H(Y), to vrijedi uz p(y
j
) = konst. =
1/N. Zbog injenice da i stupci matrice kanala imaju isti skup vrijednosti, uvjet p(y
j
) = konst.
vrijedi samo uz p(x
i
) = konst., pa slijedi kapacitet simetrinog kanala sa umom:
(7.19) simbol bita H N ld C
r
/ =
Dakle, um smanjuje kapacitet kanala za vrijednost H
r
.

Primjer 7.2 BSC kanal (N = 2)

Iz (7.19) slijedi:

=
+ =
2
1
2
j
j j
p ld p ld C
Neka je matrica kanala (slika 7.6):

=
p p
p p
1
1
P
pa vrijedi:
) 1 ( ) 1 ( 1 p ld p p ld p C + + =

Slika 7.13 ilustrira ovisnost kapaciteta o vjerojatnosti greke u BSC kanalu. Uoljivo je da p =
0.5 oznaava sluaj neupotrebljiva kanala.


13

0 0.5 1
1
0.5
C/C
max


Slika 7.13 Kapacitet BSC kanala.

Prethodni primjer i slika 7.13 iniciraju slijedea razmiljanja:
Kapacitet simetrinog kanala je ld N - H
r
, to za BSC kanal uz p = 0.5 daje C
BSC
= 0. Dobiveni
izraz za kapacitet je vezan uz p(x
i
) = konst, jer uz taj uvjet I(X;Y) i jest maksimalna. Meutim,
ako je matrica BSC kanala npr.

=
5 . 0 5 . 0
5 . 0 5 . 0
P
i neka je p(x
1
) >> p(x
2
), pa ako se primijeni pravilo odluivanja d(y
1
) = d(y
2
) = x
1
, moglo bi se
pomisliti da e, iako je greka vrlo velika (p = 0.5) i kanal neupotrebljiv (C = 0), preneseni
sadraj informacije biti vei od nule! Istina, kanal je restriktivan jer, s obzirom na primijenjeno
pravilo odluivanja, poruka x
2
nije nikada primljena. Ovo bi mogao biti djelomino upotrebljivi
kanal (prenosi samo jedan od ulaznih simbola). tovie, izgleda da bi se djelomina
upotrebljivost ovog kanala mogla izbjei odabiranjem druge sheme odluivanja, koja djeluje na
osnovi pravila:

2 2 1
1 2 1
) ( ) ( )
) ( ) ( )
x y d y d b
x y d y d a
= =
= =
gdje se odluke a) ili b) donose u skladu (u omjeru) s vjerojatnostima p(x
1
) i p(x
2
). Meutim,
moe se lako pokazati da je posljednja shema odluivanja openito inferiorna prvoj, tj. manji je
preneseni sadraj informacije. Ali bez obzira na to koje od spomenutih pravila odluivanja
primijenili, javlja se pitanje kako za BSC kanal prenesena informacija moe biti vea od nule,
iako je dobiveno da je C = 0 za p = 0.5 ?

Meutim, nastala neloginost je prividna i posljedica je nepreciznog zakljuivanja.
Naime, to se tie prve sheme odluivanja, jer je na izlazu iz odluivaa prisutan uvijek isti
simbol ) (
1
x , to znai da je izlaz poznat unaprijed, pa je primljena informacija nula. Za drugu
shemu odluivanja, u kojoj su elementi matrice P
BSC
jednaki, aposteriorna neodreenost e biti
jednaka ulaznoj, jer vrijedi:

) (
) / ( ) (
) (
) , (
) / (
j
i j i
j
j i
j i
y p
x y p x p
y p
y x p
y x p = =
a jer vrijede relacije:
) 5 . 0 (
1
. ) / ( = = = p BSC za
N
konst y x p
j i



14
) (
1
) / ( ) ( ) , (
i i j i j i
x p
N
x y p x p y x p = =

N
x p
N
x p
N
y x p y p
i
i
i i
i j i j
1
) (
1
) (
1
) , ( ) ( = = = =


vrijedi i:
) (
1
) (
1
) / (
i
i
j i
x p
N
x p
N
y x p = =
pa je:
0 ) ; ( ) ( ) / ( = = Y X I i X H Y X H
Primljeni sadraj informacije je dakle jednak nuli.

Dakle, nema takva pravila odluivanja koje e omoguiti prijenos informacije preko kanala iji
je kapacitet jednak nuli.

f) Kanal s brisanjem

U komunikacijskim sustavima binarni simboli se ne prenose kao signali razina 0 [V] i V [V]
izuzev na kratkim vezama unutar samih digitalnih ureaja. Razlog je u tome to prijamnik ne
moe prepoznati stanje "prekida" kanala, odnosno prevelikog guenja signala zbog kvarova ili
utjecaja vanjskih smetnji (npr. fedinga u radio-relejnim vezama, oteenja magnetske vrpce i sl.).
Stoga se binarne poruke prenose npr. kao +V i -V, a razina 0 [V] oznaava prekid, odnosno
pogrean prijenos. To znai da na izlazu postoje tri simbola y
1
, y
2
i y
3
, gdje y
1
odgovara ulaznom
simbolu x
1
, y
2
odgovara ulaznom simbolu x
2
, a y
3
oznaava greku, odnosno izbrisani simbol
(slika 7.14). Matrica ovakva kanala je oblika:

=
p p
p p
1 0
0 1
P

y
1
y
2
x
p(x )
1
1
x
p(x ) = 1 - p(x )
2
2 1
p(y ) = p(x ) (1 - p)
1 1
y
3
p(y ) = p
3
p(y ) = p(x ) (1 - p)
2 2
1 - p
1 - p
p
p


Slika. 7.14 Binarni kanal s brisanjem (BEC)

Izlazna entropija kanala s brisanjem je:
(7.20)
( )
( ) ) ( ) 1 ( ) ( ) 1 (
) ( ) 1 ( ) ( ) 1 ( ) ( ) ( ) (
2 2
1 1
3
1
x p p ld x p p p ld p
x p p ld x p p y p ld y p Y H
j
j j

= =

=
Maksimalna e vrijednost H(Y) biti uz p(x
1
) = p(x
2
) = 0.5, pa je kapacitet ovog kanala:
[ p X Y H Y H C ] = = 1 ) / ( ) ( max (7.21)


15
jer je H(Y/X) = H
r
(iako ovaj kanal nije simetrian!).

Slika 7.15 ilustrira ovisnost kapaciteta o vjerojatnosti brisanja. Uoljivo je da uz p = 0.5 kapacitet
nije 0 kao u BSC kanala, nego 0.5.

0 0.5 1
1
0.5
C


Slika 7.15 Kapacitet BEC kanala

Moe se rei da tehnika brisanja nevrijednih simbola poveava kapacitet kanala pa se takav
nain koristi kod realnih kanala. Izbrisani simbol y
3
moe biti interpretiran (odluen) na dva
naina:

a) y
3
se interpretira kao x
1
ili x
2
na sluajan nain, a u omjeru vjerojatnosti pojavljivanja x
1
i
x
2
,

b) y
3
se interpretira na deterministiki nain i to uvijek kao vjerojatniji simbol, odnosno
p(x
1
/y
3
) = 1 i p(x
2
/y
3
) = 0 kad je p(x
1
) > p(x
2
), odnosno p(x
2
/y
3
) = 1 i p(x
1
/y
3
) = 0 kad je
p(x
2
) > p(x
1
).

Moe se pokazati da drugi nain odluivanja maksimizira preneseni sadraj informacije (naelo
idealnog opaaa).

Primjer 7.3 Binarni kanal s brisanjem (BEC)

Neka je BEC kanal opisan vrijednostima kao na slici 7.16. Kapacitet kanala slijedi iz (7.20):
simbol bita p C / 75 . 0
4
3
4
1
1 1 = = = =

=
4
1
4
3
0
4
1
0
4
3
P



16
y
1
y
2
x
p(x ) = 4/5
1
1
x
p(x ) = 1/5
2
2
y
3
3/4
3/4
1/4
1/4


Slika 7.16 BEC kanal i pripadna matrica kanala

Preneseni sadraj informacije moe biti dobiven pomou izraza (7.14) i (7.20) uz p = 1/4:
simbol bita H Y H Y X I
r
/ 541 . 0 ) ( ) ; ( = =
Ovaj srednji sadraj informacije je raspoloiv na izlazu iz kanala, ali ostaje problem kako ga
ostvariti s obzirom na slobodu interpretacije simbola y
3
.
Slika 7.17 ilustrira nain odluivanja naveden pod a). Preneseni sadraj informacije je sada:
simbol bita X X H X H X X I / 35 . 0 372 . 0 722 . 0 ) / ( ) ( ) ; ( = = =
Dakle, postupak odluivanja u sluaju tipa a) uzrokuje ukupni gubitak od 0.541 - 0.35 = 0.191
bita/simbol.

p(x
k
,y
j
) x
1
x
2
p(y
j
)
y
1
1 0 12/20
y
2
0 1 3/20
y
3
4/5 1/5 5/20

y
1
y
2
x
1
x
2
y
3
1
1
4/5
1/5
prijam odluka


Slika 7.17 Shema odluivanja prema pravilu tipa a)

Slika 7.18 ilustrira nain odluivanja naveden pod b). Preneseni sadraj informacije je sada:
simbol bita X X H X H X X I / 504 . 0 218 . 0 722 . 0 ) / ( ) ( ) ; ( = = =

p(x
k
,y
j
) x
1
x
2
p(y
j
)
y
1
1 0 12/20
y
2
0 1 3/20
y
3
1 0 5/20



17
y
1
y
2
x
1
x
2
y
3
1
1
1


Slika 7.18 Shema odluivanja prema pravilu tipa b)

Izgubljeni sadraj informacije za b) je manji nego za a) i iznosi samo 0.037 bita/simbol.

7.4 Problem diskretnog kanala sa umom

Utjecaj smetnji u kanalu opisan je, kako je ve naglaeno, matricom uvjetnih vjerojatnosti,
odnosno matricom kanala. Konaan efekt utjecaja smetnji je gubitak informacije mjeren
uvjetnom entropijom H(X/Y), koja je definirana relacijom (7.7). U praktikim realizacijama
digitalnih sustava, meutim, kao kriterij kvalitete radije se koristi vjerojatnost greke (bolje
reeno BER) koja moe biti mjerena na mjestu prijema. Ova vjerojatnost greke predstavlja
ustvari prosjenu vjerojatnost greke koja slijedi iz
(7.22)

=
=
x
y N
i
N
i j
j
j i
y x p e p
1 1
) , ( ) (
gdje je zdruena vjerojatnost p(x
i
,y
j
) odreena umnokom izmeu apriorne i uvjetne
vjerojatnosti.

Prosjena vjerojatnost tonog prijama je, naravno, jednaka 1 - p(e).

Primjer 7.4 Binarni kanal

Binarni kanal (N
x
= N
y
= 2) opisan je matricom kanala kao na slici 7.19. Prosjena vjerojatnost
greke prema (7.22) je:
) / ( ) ( ) / ( ) ( ) , ( ) (
2 1 2 1 2 1
2
1
2
1
x y p x p x y p x p y x p e p
i
i j
j
j i
+ = =

=
) / ( ) / (
) / ( ) / (
2 2 2 1
1 2 1 1
x y p x y p
x y p x y p
P



18
y
1
y
2
x
p(x )
1
1
x
p(x )
2
2
p(y /x )
1 1
p(y /x )
2 2
p(y /x )
1 2 p(y /x )
2 1


Slika 7.19 Binarni kanal sa umom

Kad bi kanal bio simetrian vrijedilo bi p(y
1
/x
2
) = p(y
2
/x
1
) = p, tj.
[ ] p x p x p p e p = + = ) ( ) ( ) (
2 1
Dakle za BSC kanal, prosjena vjerojatnost p(e) ne ovisi o vjerojatnosti ulaznih simbola i
jednaka je vjerojatnosti pogrenog prijenosa digita p.

Zanimljivo je nai vezu izmeu H(X/Y) i p(e). Prema (7.7) vrijedi:


= = =
= =
N
j
j j
N
i
N
j
j i j i
y p y X H y x p ld y x p Y X H
1 1 1
) ( ) / ( ) / ( ) , ( ) / (
gdje je H(X/y
j
) uvjetna entropija (ekvivokacija) kao posljedica neodreenosti o skupu X uz
primljeni simbol y
j
, a za koju vrijedi:
(7.23)

=
=
N
i
j i j i j
y x p ld y x p y X H
1
) / ( ) / ( ) / (
Vjerojatnost greke kad je primljen y
j
e biti:
(7.24)

= =
N
j i
j i j i j
y x p y x p y e p ) / ( ) / ( 1 ) / (
pa se (7.23) moe pisati u obliku:

[ ] [ ] ) / ( 1 ) / ( 1 ) / ( ) / (
) / (
) / (
) / (
) / (
) / ( ) / (
j j j j
N
j i j
j i
j
j i
j j
y e p ld y e p y e p ld y e p
y e p
y x p
ld
y e p
y x p
y e p y X H

=


Zbroj na desnoj strani odgovara entropiji skupa s N - 1 simbola. Entropija od N - 1 simbola ne
moe biti vea od ld (N-1), tj.

[ ] [ ] ) / ( 1 ) / ( 1
) / ( ) / ( ) 1 ( ) / ( ) / (
j j
j j j j
y e p ld y e p
y e p ld y e p N p ld y e p y X H



Zbrajanjem po j slijedi konano:
) 1 ( ) ( ) / ( ) / ( + N ld e p Y e H Y X H (7.25)
gdje je H(e/Y) uvjetna entropija, tj. neodreenost greke uz odreeni skup Y za koju vrijedi:
[ ] [ ) / ( 1 ) / ( 1 ) / ( ) / ( ) ( ) / (
1
j j
N
j
j j j
y e p ld y e p y e p ld y e p y p Y e H + =

=
]

Neodreenost H(e/Y) e biti najvea kad prijamnik donosi neovisne odluke. Binarna odluka ima


19
dakle entropiju:
{ }
greke nema e
greka e
e e e
e p ld e p e H
k
k
k k

=

=
2
1
2 1
2
1
,
) ( ) ( ) (
odnosno:
[ ] [ ] ) ( 1 ) ( 1 ) ( ) ( ) ( e p ld e p e p ld e p e H = (7.26)

Jer vrijedi H(e/Y) H(e), vrijedi izraz kao (7.25):
) 1 ( ) ( ) ( ) / ( + N ld e p e H Y X H (7.27)

0 0.5 1
1
H(X/Y)
1-1/N
ld N
ld (N-1)
doputeno
podruje
binarni kanal


Slika 7.20 Ilustracija izraza (7.27)

Izraz (7.27) je tzv. Fanoova nejednakost /2/ iz koje slijedi: kad je primljen simbol
y Y, i kad se detektira (odlui) da li je greka ili nije, otklonjena je neodreenost H(e). Ako se
greka nije javila, onda nema neodreenosti glede odaslana simbola. Ako se greka javila uz
vjerojatnost p(e), treba se odluiti izmeu preostalih (N-1) simbola, pa ta neodreenost ne moe
biti vea od ld (N-1) bita po simbolu.

Slika 7.20 ilustrira relaciju (7.27) gdje je oznaeno doputeno podruje za par vrijednosti
p(e) i H(X/Y). Uz N = 2 (binarni izvor) podruje se svodi na povrinu ispod crtkane linije.

Budui da prema (7.8) vrijedi H(X/Y) = H(X) - I(X;Y), moe se na temelju (7.27)
uspostaviti veza izmeu donje granice za vjerojatnost greke p(e) i razlike izmeu entropije
ulazne abecede i informacijskog toka kroz kanal. Moe se pisati:
) 1 ( ) ( ) ( ) ( + N ld e p e H C X H (7.28)


20
jer vrijedi I(X;Y) < C. Slika 7.21 ilustrira ovu nejednakost koja pokazuje da p(e) moe biti nula
samo kad je H(X) C. Ova injenica kae da se kroz kanal kapaciteta C moe prenijeti
sadraj informacije uz proizvoljno malu vjerojatnost greke samo kad entropija izvora ne
premauje kapacitet kanala. Ovo je osnovni teorem informacije za kanale sa umom.

Relacije (7.27) i posebno (7.28) definiraju osnovna ogranienja i mogunosti za prijenos
informacije preko diskretnih kanala sa umom.

0 1
H(X)
doputeno
podruje
C


Slika 7.21 Ilustracija izraza (7.28)

7.5 Kodiranje u kanalima sa umom

Postavlja se pitanje ogranienja i mogunosti koje se nude kada se kanalom ne prenose izravno
simboli iz kodera informacije, nego se prethodno obavi dodatno kodiranje (kodiranje kanala) kao
to je prikazano na slici 7.22. Neka je koder kanala tzv. blok-koder, tj. on pretvara svaku m-
torku simbola iz izvora u blok od n simbola koji predstavlja ulaz u kanal.

koder
kanala
kanal
dekoder
kanala
korisnik
izvor
(kodirani)
v V
i
m
z Z
i
m
y Y
i
n
x X
i
n

Slika 7.22 Blok-shema diskretnog komunikacijskog sustava

Ako je interval signalizacije izvora T
v
, interval signalizacije u kanalu T
x
je dan relacijom:

v v x
T T
n
m
T = =
gdje je koeficijent prijenosa.

Izvor je kodiran tako to je svaka poruka iz izvora predstavljena m-torkom simbola pa se moe


21
pisati Fanoova nejednakost analogno (7.27):
) 1 ( ) ( ) ( ) / ( + N ld e p e H Z V H
m
(7.29)
gdje je p
m
(e) prosjena vjerojatnost pogrene poruke (m-torke).

Obrada unutar kodera i dekodera kanala moe u najboljem sluaju sauvati preneseni sadraj
informacije kroz kanal (teorem o obradi podataka), tj. I(V;Z) I(X;Y), pa vrijedi:
(7.30) ) ; ( ) ( ) / ( Y X I V H Z V H
gdje je H(V) entropija abecede kodiranog izvora koji se sastoji od m-torki simbola, tako da
vrijedi:
(7.31) izvora entropija H H m V H = ) (
Nadalje, budui da je svaka poruka kodirana u koderu kanala s n-torkom vrijedi i
(7.32) C n Y X I ) ; (
Izraz (7.28) uz (7.30), (7.31) i (7.32) postaje:
) 1 ( ) ( ) ( + N ld e p e H C n H m
m
(7.33)
to znai da je donja granica za p
m
(e) definirana sa:

) 1 (
) (
) (

N ld
e H C n H m
e p
m
(7.34)
Neka su poruke v
i
V binarne m-torke, gdje prostor m-torki V
m
ima 2
m
razliitih simbola, tako
da je N = 2
m
. Izraz (7.34) moe se pisati:

m
C
H
m
C n H m
e p
m
1 1
) ( =

Uz velike m i n vrijedi:

C
H e p
m
> ) ( (7.35)
tj. vjerojatnost greke pri dekodiranju bloka od m simbola izvora ne moe biti proizvoljno mala
ako je koeficijent prijenosa vei od omjera C/H. Za binarni izvor bez redundancije vrijedi H =
1, pa vrijedi isti zakljuak za sluaj kad je vei od C. C.E. Shannon /3/ je dokazao slijedei
teorem o kodiranju kanala:

Za dani izvor informacije entropije H bita/simbol i dani diskretni kanal bez memorije kapaciteta
C bita/simbol, postoji kd s koeficijentom prijenosa = m/n za koji je vjerojatnost pogreke
kodne rijei ograniena sa:
(7.36)
) (
) (
R E n
m
e e p

<
gdje je R = H, a E(R) je konveksna i opadajua funkcija od R za podruje 0 R C (slika
7.23).



22
E(R)
R
C 0


Slika 7.23 Tipino ponaanje funkcije E(R) u izrazu (7.36)

Izraz (7.36), uz sliku 7.23, nudi tri naina za smanjenje vjerojatnosti greke kod digitalnih
komunikacijskih sustava:

a) Smanjenje p
m
(e) mogue je poveavanjem kapaciteta kanala C.

Poveanje kapaciteta kanala, uz dane smetnje, mogue je poveanjem snage signala u kanalu
(poveanjem snage odailjaa), odnosno poveanjem S/N omjera. Brzina prijenosa ostaje
nepromijenjena. Zbog poveanja C poveana je vrijednost E(R) (slika 7.24).

E(R)
R
C
2
C
1
0 R


Slika 7.24 Uz C
2
> C
1
slijedi vea vrijednost E(R).
Prema (7.36) C
2
uvjetuje manju p
m
(e)

b) Smanjenje p
m
(e) mogue je smanjenjem R.

Smanjenje R znai, uz isti izvor, smanjenje koeficijenta prijenosa = m/n, odnosno poveanje
redundancije kda. Ovo znai poveanje potrebne pojasne irine kanala, jer je smanjen interval
signalizacije T
x
u kanalu (brzina signalizacije je poveana). Zbog manje vrijednosti R, radna
toka je pomaknuta ulijevo, to uvjetuje veu vrijednost E(R) (slika 7.25).



23
E(R)
R
C 0 R
2
R
1

Slika 7.25 Uz R
2
< R
1
(tj.
2
<
1
) vea je vrijednost E(R).
Prema (7.36) ovo znai manju p
m
(e)

c) Smanjenje p
m
(e) mogue je poveanjem n uz fiksni koeficijent prijenosa = m/n.

Poveanje n uz fiksni znai i poveanje broja simbola po bloku m u koderu informacije. Ovo
podrazumijeva vierazinsko kodiranje uz prikladno ukljuenu redundanciju.

Nain a) je u naelu najjednostavniji, ali sa stajalita tehniko-gospodarskih initelja ne i
najprihvatljiviji nain poboljanja pouzdanosti prijenosa.

Nain b) vodi na sigurnosne (redundantne) blok-kodove kao to su Hammingovi kodovi,
cikliki kodovi, te kodovi ne-blok tipa kao to su konvolucijski kodovi.

Trei nain c) vodi na tzv. preventivno kodiranje kao to su poznati trellis (TCM) kodovi.

Kodiranje tipa b) i c) je obraeno u poglavljima 9 do 13.

7.6 Kontinuirani kanali sa umom

Neka je na ulazu u kanal prisutan sluajni signal x(t) koji predstavlja ergodian pojasno
ogranien proces. U nekom trenutku uzorkovanja, skup svih vrijednosti tog uzorka predstavlja
kontinuiranu sluajnu varijablu X koja je opisana funkcijom gustoe vjerojatnosti p(x). Mjera
srednjeg sadraja informacije po uzorku je entropija:
(7.37)

= dx x p ld x p X H ) ( ) ( ) (
Izraz (7.37) je slina relaciji (5.9) za diskretni izvor ali, za razliku od ove, entropija kontinuirane
varijable moe poprimiti proizvoljno veliku pozitivnu ili negativnu vrijednost, tako da (7.37),
ustvari, predstavlja relativnu mjeru sadraja informacije.
Analogno (7.37), moe se definirati entropija dviju zdruenih varijabli X i Y, te uvjetne
entropije:


24

= dy dx y x p ld y x p Y X H ) , ( ) , ( ) , (
(7.38)

= dy dx x y p ld y x p X Y H ) / ( ) , ( ) / (

= dy dx y x p ld y x p Y X H ) / ( ) , ( ) / (
gdje vrijede relacije:
) ( ) ( ) , ( Y H X H Y X H +
) / ( ) ( ) / ( ) ( ) , ( Y X H Y H X Y H X H Y X H + = + =
) ( ) / ( ; ) ( ) / ( X H Y X H Y H X Y H =

Kad su varijable X i Y statistiki neovisne, entropija H(X,Y) je maksimalna, odnosno
maksimalne su uvjetne entropije H(X/Y) i H(Y/X).

Za diskretne izvore je pokazano da izvor maksimalne entropije generira
jednakovjerojatne simbole. Kod kontinuiranih izvora potrebno je voditi rauna o ogranienjima
koja su nuna za realne izvore.

Dva su tipina sluaja:

a) izvori ograniene srednje snage,
b) izvori ograniene vrne snage.

Ako je sluajna varijabla X sa fgv p(x), bez prosjeka i konane varijance
x
2
, tj.
< =

dx x p x
x
) (
2 2

vrijedi nejednakost (vidi npr. /4/):

2
2
2
1
) (
x
e ld X H (7.39)
Maksimalna vrijednost H(X) se dobije kad je X Gaussova varijabla, tj. kad vrijedi:

2
2
2
2
2
1
) (
x
x
x
e
e
x p



=

Drugim rijeima, kontinuirani izvor ograniene srednje snage generira maksimalan sadraj
informacije kada je rije o Gaussovu izvoru, odnosno izlazna sluajna varijabla je X ~ N(0,
x
2
).

Za izvore ograniene vrne snage (tj. ograniene maksimalne amplitude) za koje vrijedi


25
-V x(t) V, entropija je maksimalna kad izvor generira varijablu X ravnomjerne fgv, tj.

=
drugdje
V x V
V x p
; 0
;
2
1
) (
to daje:
(7.40) V ld X H 2 ) ( =
Od posebnog su interesa Gaussovi kanali. Neka je um kanala takoer Gaussov X ~ N(0,
n
2
), pa
je entropija uma (irelevantnost):

2
2
2
1
) / (
n
e ld X Y H =
to za kapacitet kanala daje:
[ ]
2
) ( ) (
2
2
1
) ( max ) ; ( max
n
x p x p
e ld Y H Y X I C = = (7.41)
Maksimalna entropija sluajne varijable na izlazu iz kanala
n x y + =
koja je opet Gaussova varijabla s varijancom

2 2 2
n x y
+ =
je:
) ( 2
2
1
2
2
1
) (
2 2 2
n x y
e ld e ld Y H + = =
Slijedi kapacitet Gaussova kanala:

2 2 2
2
2
1
) ( 2
2
1
n n x
e ld e ld C + =
odnosno:
uzorak bita ld C
n
x
/ 1
2
1
2
2

+ =

(7.42)
Broj uzoraka u sekundi definira frekvencija uzoraka f
s
. U skladu s teoremom o uzimanju
uzoraka, maksimalan sadraj informacije po uzorku je ostvaren uz

c s
f f 2 =
gdje je f
c
pojasna irina kanala.

Kapacitet pojasno ogranienog Gaussova kanala je, dakle:
s bita
N
S
ld f ld f C
c
n
x
c
/ 1 1
2
2

+ =

+ =

(7.43)

Izraz (7.43) je poznata Shannonova relacija koja predstavlja kapacitet idealnog kanala, a koji
slui kao standard za usporedbu karakteristika razliitih komunikacijskih sustava.



26
Literatura

1. A.J. Viterbi, J.K. Omura: "Principles of Digital Communication and Coding", Mc Graw-
Hill, 1979.
2. R.M. Fano: "Transmission of Information - A Statistical Theory of Communications",
M.I.T. Press, Cambridge, 1961.
3. C.E. Shannon: "A Mathematical Theory of Information", BSTJ, July, 1948, (379 - 423).
4. R. Ash: "Information Theory", John Wiley & Sons, Inc.,1965.
5. F. Jelinek: "Probabilistic Information Theory", Mc Graw-Hall, 1968.
6. . Paue: "Uvod u teoriju informacije", kolska knjiga, Zagreb, 1980.
7. L. Gyergyek: "Statistine metode v teoriji sistemov, teorija o informacijah", Ljubljana,
1978.
8. V. Matkovi, V. Sinkovi: "Teorija informacije", kolska knjiga, Zagreb, 1984.


Dekodiranje i odluivanje

Zadatak dekodera i odluivaa je za primljeni simbol
y
uz dani kanal sa umom definiran
matricom kanala iji ulaz
) x | y ( p
x
je apriori poznate raspodjele odrediti (procjeniti)
najvjerojatnije poslani simbol
) x ( p
x
. Drugim rijeima zadatak je dekodera uz poznate
y
, i
odluiti o odaslanom
) x | y ( p
) x ( p
x
na nain da je ukupna vjerojatnost pogrjeke minimalna. Takav
nain odluivanja je poznat i kao idealni promatra [Ash]. Postupak dekodiranja prema shemi
odluivanja idealna promatraa moe se opisati na sljedei nain:
Uz poznate raspodjele i raspodjela izlaza je jednoznano odreena relacijom
) x ( p ) x | y ( p

= =
x x
) x | y ( p ) x ( p ) y , x ( p ) y ( p
; (1)
Uz primljeni simbol vjerojatnost tonog prijenosa odgovara vjerojatnosti da je temeljem
odluen stvarni ulaz (slika 1). Ako je ukupan broj simbola na ulazu u kanal L, moe se za
vjerojatnost tonog prijenosa pisati:
j
y
j
y
j
x

= =
= = =
L
1 j
j j j
L
1 j
j j
} y | x { p ) y ( p ) y | e ( p ) y ( p ) e ( p x
; (2)
Iz relacije (2) slijedi da izbor kao one vrijednosti koja maksimizira ujedno se
maksimizira
j
x ) y | x ( p
j
) y | e ( p
j
za svaki j ime je maksimizirana i vjerojatnost tonost prijenosa.
Proizlazi da shema idealna promatraa podrazumijeva da se za svaki izlazni simbol bira onaj
ulazni simbol
j
y
x
koji maksimizira aposteriornu raspodjelu


27
) y ( p
) x | y ( p ) x ( p
) y x ( p
j
j
j

= |
; (3)
Vrijednost koja maksimizira (3) odgovara maksimalnoj aposteriornoj vjerojatnosti pa se
naziva MAP procjena. MAP procjena slijedi dakle iz:
i
x
{ } ) y | x x ( p max arg x
j i
i
MAP , i
= =
; (4)
Relacija (3) je poznata kao Bayesova formula koja je openito temelj za odluivanje po MAP
kriteriju.
Ukoliko je apriorna raspodjela ravnomjerna tj.
M / 1 ) x ( p =
izraz (3) postaje
) y ( p M
) x | y ( p
) y x ( p
j
j
j

= |
;
pa je maksimiziranje aposteriorne vjerojatnosti ekvivalentno maksimiziranju
. Dakle u sluaju kad su ulazni simboli
) y | x ( p
j
) x | y ( p
x
jednakovjerojatni MAP odluka slijedi iz:
{ } ) x x | y ( p max arg x
i j
i
ML , i
= =
; (5)
Vrijednost koja maksimizira (5) odgovara ulaznom simbolu
i
x
x
koji s najveom vjerojatnosti
daje na izlazu primljeni simbol . Dekodirani simbol putem relacije (5) odgovara tzv.
procjeni najvee podudarnosti ili ML (Maximum Likelihood) procjeni. ML procjena oito ne
ukljuuje eventualno neravnomjernu raspodjelu pa se openito moe smatrati
podoptimalnom odlukom u odnosu na MAP procjenu. Prednost dekodiranja temeljenog na ML
odluivanju je u jednostavnijem proraunu te u injenici da je ekvivalentna MAP odluci za
izvore s ravnomjernom raspodjelom te izvore s Gaussovom raspodjelom i Gaussovim kanalima.
S druge strane MAP odluivanje je openito raunski zahtjevnije ali i superiorno u opem
sluaju dekodiranja gdje se kod dekodiranja koristi ne samo matrica kanala nego i
apriorno znanje o raspodjeli izvora tako da se s pravom moe govoriti o integriranom
dekodiranju izvora i kanala (source-channel decoding) [refs].
j
y
) x ( p
) x | y ( p
) x ( p

Primjer 7.x: Diskretan kanal bez memorije opisan je matricom:
[ ]

= =
2
1
6
1
3
1
3
1
2
1
6
1
6
1
3
1
2
1
y ( p P x |
;
Neka je poznata raspodjela ulaznih simbola
4 / 1 ) x ( p ; 4 / 1 ) x ( p ; 2 / 1 ) x ( p
1 2 1
= = =
.
Odrediti MAP i ML odluke i izraunati pripadajue ukupne vjerojatnosti pogrjeaka.

Vjerojatnosti izlaza slijede iz (1):


28
3 , 2 , 1 j ; ) y ( p ) x ( p ) y ( p
3
1 i
j i j
= =

=
i
x |

Slijedi:
24 / 7 ) x ( p ; 3 / 1 ) y ( p ; 8 / 3 ) y ( p
3 2 1
= = =
.
Za matricu aposteriornih vjerojatnosti prema (3) slijedi iz
) y | x ( p
j
) y ( p
) x | y ( p ) x ( p
) y x ( p
j
i j i
j i

= |
, to daje
[ ]

=
7
3
8
1
9
2
7
2
8
3
9
1
7
2
2
1
3
2
x ( p y |
;
pa slijede MAP odluke u skladu s (4):
; x ) y ( g ; x ) y ( g ; x ) y ( g
3 3 MAP 1 2 MAP 1 1 MAP
= = =

Odgovarajua shema MAP odluivanja je prikazana na slici 7.2a.

Ukupna vjerojatnost pogrjeke MAP odluivanja je prema (2):


= =
= =
3
1 j
j j MAP j
3
1 j
j j MAP
} y | ) y ( g { p ) y ( p ) y / e ( p ) y ( p ) e ( p x
;

pa slijedi:
458 . 0
24
11
7
2
7
2
24
7
8
1
8
3
3
1
9
2
9
1
8
3
) e ( p
MAP
=

+ +

+ +

+ =


S druge strane ML odluke se temelje na (5):
; x ) y ( g ; x ) y ( g ; x ) y ( g
3 3 ML 2 2 ML 1 1 ML
= = =

Odgovarajua shema MAP odluivanja je prikazana na slici 7.1. Ukupna vjerojatnost pogrjeke
MAP odluivanja je prema (5):

= =
= =
3
1 j
j j ML j
3
1 j
j j ML
} y | ) y ( g { p ) y ( p ) y / e ( p ) y ( p ) e ( p x
;
pa slijedi:
5 . 0
24
12
3
1
6
1
24
7
6
1
3
1
3
1
3
1
6
1
8
3
) e ( p
ML
= =

+ +

+ +

+ =


3
2
X

X Y
2
1
) x ( p
1
=


29



Slika 7.1 Shema MAP odluivanja





Slika 7.2 Shema ML odluivanja

Uoljiva je superiornost MAP odluivanja jer je
). e ( p ) e ( p
ML MAP
<
Meutim na ovom
primjeru se uoava i jedno nepovoljno svojstvo MAP odluivanja: iz sheme Sl. 2a je vidljivo da
MAP dekoder ne daje nikada na izlazu simbol to znai da taj simbol nee nikada biti tono
primljen odnosno vjerojatnost pogrjeke simbola je 1. Bilo bi dakle poeljno definirati shemu
odluivanja sa ravnomjernom granicom pogrjeke (uniform error bound) na nain da je
vjerojatnost pogrjeke za sve simbole
2
x
x
2
M , , 2 , 1 i ; x
i
L =
manja od granine vrijednosti .
Meutim takva shema odluivanja nije kao u sluaju MAP odluivanja openita nego je treba
odrediti za odgovarajui sluaj kodiranja. g



1
x
2
x
3
x
1
y
2
y
1
x
3
x
2
1
3
y
[ ]
i j
x | y ( p
4
1
) x ( p
2
=
7
3
4
1
) x ( p
3
=
KANAL MAP odluiva
Ukupna vjerojatnost
pogrjeke = 0.458
2
1
X

Y
X
2
1
) x ( p
1
= 1
y
1
x
1
x
2
1
2
x
Ukupna vjerojatnost
pogrjeke = 0.5
4
1
) x ( p
2
= 2
x
2
y
3
x 3
y
3
x
[ ]
i j
x | y ( p
KANAL ML odluiva
2
1
4
1
) x ( p
3
=