9.

Statistički model kanala

9.1. Blok shema i osnovne karakteristične veličine

Jednostavna blok shema statističkog modela kanala, koja sadrži samo

minimalno potrebne elemente za analizu u ovom poglavlju, prikazana je na
slici 9.1.

x h
izvorište kanal odredište

šum

Slika 9.1: Blok shema statističkog modela kanala

Ulaz u kanal opisujemo pomoću slučajne varijable 𝜉, čije su vrijednosti

elementarne poruke, odn.simboli koji stižu na ulaz kanala. Analogno, i izlaz
iz kanala predstavljamo slučajnom varijablom 𝜂. Na ovaj način kanal nije
ništa drugo nego blok za transformaciju slučajne varijable.
Kada ne bi bilo nikakvih smetnji pri prijenosu, veza izmedu 𝜉 i 𝜂 bila bi
jednoznačna, imali bismo 𝜂 = 𝑓 (𝜉) u smislu da poslanom simbolu 𝜉 = 𝑥𝑖
odgovara potpuno odredeni primljeni simbol 𝜂 = 𝑦𝑖. No, zbog prisutnog
šuma izmedu 𝜉 i 𝜂 će općenito postojati samo statistička veza i za neko
𝜉 = 𝑥𝑖 moguć je prijem raznih 𝜂 = 𝑦𝑗 .
Kanal je prvenstveno karakteriziran uvjetnim vjerojatnostima 𝑃 (𝑦𝑗 |𝑥𝑖 ) =
P({𝜂 = 𝑦𝑗 } |{𝜉 = 𝑥𝑖 } ). Naravno, tu su i združene vjerojatnosti 𝑃 (𝑥𝑖 , 𝑦𝑗 ) =
P({𝜉 = 𝑥𝑖 } ∩ {𝜂 = 𝑦𝑗 }) iz kojih možemo dobiti marginalne vjerojatnosti
𝑃 (𝑥𝑖 ) = P({𝜉 = 𝑥𝑖 }) i 𝑃 (𝑦𝑗 ) = P({𝜂 = 𝑦𝑗 }), te odgovarajuće uvjetne vje-

153
TEORIJA INFORMACIJA I IZVORNO KODIRANJE

rojatnosti 𝑃 (𝑥𝑖 |𝑦𝑗 ) = P({𝜉 = 𝑥𝑖 } |{𝜂 = 𝑦𝑗 } ), a onda i razne veličine koje

opisuju komunikacijski sustav:
∙ entropija izvora
X 1
𝐻(𝜉) = 𝑃 (𝑥𝑖 ) ld (9.1)
𝑖
𝑃 (𝑥 𝑖)

∙ entropija prijemnika
X 1
𝐻(𝜂) = 𝑃 (𝑦𝑗 ) ld (9.2)
𝑗
𝑃 (𝑦𝑗 )
∙ združena entropija
XX 1
𝐻(𝜉, 𝜂) = 𝑃 (𝑥𝑖 , 𝑦𝑗 ) ld (9.3)
𝑖 𝑗
𝑃 (𝑥𝑖 , 𝑦𝑗 )

∙ uvjetna entropija prijemnika (irelevancija)

XX 1
𝐻(𝜂|𝜉) = 𝑃 (𝑥𝑖 , 𝑦𝑗 ) ld (9.4)
𝑖 𝑗
𝑃 (𝑦𝑗 |𝑥𝑖 )

∙ uvjetna entropija izvora (ekvivokacija)

XX 1
𝐻(𝜉|𝜂) = 𝑃 (𝑥𝑖 , 𝑦𝑗 ) ld (9.5)
𝑖 𝑗
𝑃 (𝑥𝑖 |𝑦𝑗 )

∙ uzajamna informacija (transinformacija)

𝐼(𝜉, 𝜂) = 𝐻(𝜉) − 𝐻(𝜉|𝜂) = 𝐻(𝜂) − 𝐻 (𝜂|𝜉) (9.6)
Entropija izvora 𝐻(𝜉) je (prosječna) količina informacije koja stiže od
izvora. Stvarno prenesena količina informacije je 𝐼(𝜉, 𝜂), dok se u kanalu
jedan dio izgubi:
𝐻(𝜉) = 𝐼(𝜉, 𝜂) − 𝐻(𝜉|𝜂) (9.7)
pri čemu prisutni šum i sâm generira entropiju 𝐻 (𝜂|𝜉) koja zajedno s tran-
sinformacijom daje ukupnu entropiju na izlazu:
𝐻(𝜂) = 𝐼(𝜉, 𝜂) − 𝐻(𝜂|𝜉) (9.8)

Vezu izmedu raznih veličina (9.1)-(9.6) možemo prikazati grafički, kao na

slici 9.2.
U praksi su interesantna dva granična slučaja.
∙ Ako je 𝜂 = 𝑓 (𝜉) onda je 𝐻(𝜉|𝜂) = 𝐻(𝜂|𝜉) = 0 i 𝐼(𝜉, 𝜂) = 𝐻(𝜉) = 𝐻(𝜂),
što odgovara idealnoj situaciji bez smetnji.
∙ Ako su 𝜉 i 𝜂 medusobno nezavisne, onda će sva informacija koja dolazi
od izvora bit će izgubljena (𝐻(𝜉|𝜂) = 𝐻(𝜉)), sva informacija koja
dolazi na prijemnik potiče od šuma (𝐻(𝜂|𝜉) = 𝐻(𝜂)) i nema prijenosa
informacije (𝐼(𝜉, 𝜂) = 0). Ovo možemo smatrati prekidom u vezi.

154
 POGLAVLJE 9. STATISTIČKI MODEL KANALA

H(x|h)

H(x) I(x,h) H(h)

H(h|x)

Slika 9.2: Informacijski tokovi u statističkom modelu kanala

9.2. Kapacitet kanala

Jedna od najvažnijih osobina komunikacijskog sustava općenito jest ka-

pacitet kanala. U Shannonovoj klasičnoj teoriji on se definira relacijom:

C = max 𝑣·max 𝐼(𝜉, 𝜂) (9.9)

gdje je 𝑣 brzina emitiranja simbola, odn. broj simbola koji ulaze u kanal u
jedinici vremena.
Što se tiče transinformacije 𝐼(𝜉, 𝜂), bitno je reći da sâm kanal odreduje
statističku vezu ulaza sa izlazom (dakle vezu 𝜂 sa 𝜉), ali u definiciji kapa-
citeta promatraju se sve moguće razdiobe vjerojatnosti za ulazne simbole
(𝜉) i uzima se odgovarajući maksimum. Naime, transinformaciju možemo
predstaviti u obliku:
XX 𝑃 (𝑦𝑗 |𝑥𝑖 )
𝐼(𝜉, 𝜂) = 𝐻(𝜂) − 𝐻(𝜂 |𝜉 ) = 𝑃 (𝑥𝑖 , 𝑦𝑗 ) ld =
𝑖 𝑗
𝑃 (𝑦𝑗 )
(9.10)
XX 𝑃 (𝑦𝑗 |𝑥𝑖 )
= 𝑃 (𝑥𝑖 , 𝑦𝑗 ) ld P
𝑖 𝑗
𝑃 (𝑥𝑘 ) 𝑃 (𝑦𝑗 |𝑥𝑘 )
𝑘

Uvjetne vjerojatnosti 𝑃 (𝑦𝑗 |𝑥𝑖 ) odredene su za svaki konkretni kanal. S

druge strane, možemo promatrati (za jedne te iste simbole 𝑥𝑖 koji stižu na
ulaz kanala) različite razdiobe vjerojatnosti 𝑃 (𝑥𝑖 ) tih simbola, i nastojati
dobiti što veću vrijednost 𝐼(𝜉, 𝜂). Upravo tako dobivena maksimalna vrijed-
nost transinformacije pojavljuje se u izrazu za kapacitet kanala.

155
TEORIJA INFORMACIJA I IZVORNO KODIRANJE

U općem slučaju nalaženje kapaciteta kanala je dosta kompliciran posao.

Mi ćemo ovdje razmotriti dva primjera.

9.2.1. Kapacitet diskretnog kanala bez šuma

Maksimalna brzina ulaska simbola u kanal je:

1
max 𝑣 = (9.11)
Δ𝑡

gdje je Δ𝑡 najkraće vrijeme za potrebno transmisiju jednog simbola koje

dopuštaju svojstva uredaja.
Za kanal bez šuma imamo 𝐻(𝜉|𝜂) = 0, tako da ostaje 𝐼(𝜉, 𝜂) = 𝐻(𝜉).
Maksimum transiformacije je sada isto što i maksimum entropije izvora, a
to će se postići kada su svi simboli 𝑥𝑖 jednako vjerojatni.
Možemo pisati max 𝐼(𝜉, 𝜂) = max 𝐻(𝜉) = ld 𝑁 , gdje je 𝑁 broj simbolâ
izvora. Kapacitet promatranog kanala je, prema tome:

1
C = ·ld 𝑁 (9.12)
Δ𝑡

Ovdje je važno znati da sa stanovišta kanala „izvor” nije originalni izvor

nego izlaz iz kodera izvora. U ovom slučaju (kanal bez šuma) dovoljno je
izvorno (statističko) kodiranje i maksimum entropije se dobiva kada se svi
kôdni simboli ravnomjerno opterete informacijom. Ovdje se radi upravo o
kôdnim simbolima (simbolima kodirajućeg alfabeta), a ne kôdnim riječima.

9.2.2. Kapacitet kontinualnog kanala

s Gaußovim aditivnim šumom

Za odredivanje maksimalne brzine transmisije možemo se osloniti na

teorem Nyquista (Harry Nyquist, 1889-1976) ili Koteljnikova (Владимир
Александрович Котельников, 1908-2005). U literaturi je ovaj teorem poz-
nat i pod imenom teorem uzorkovanja. Teorem daje odgovor na pitanje:
može li se rekonstruirati funkcija 𝑓 (𝑡) na temelju diskretnih uzoraka 𝑓 (𝑡𝑖 )
uzetih u trenucima 𝑡𝑖 s razmakom 𝑡𝑖+1 − 𝑡𝑖 = Δ𝑡?
Odgovor je afirmativan ako je funkcija 𝑓 spektralno ograničena tako da
se u njenom spektralnom razlaganju pojavljuju samo frekvencije iz nekog
segmenta [0, 𝜔𝑔 ]. Takva funkcija 𝑓 je potpuno odredena svojim uzorcima,

156
 POGLAVLJE 9. STATISTIČKI MODEL KANALA

ako se uzimaju sa intervalom:

𝜋
Δ𝑡 = (9.13)
𝜔𝑔

Maksimalna brzina transmisije zavisi od širine raspoloživog frekvencijskog

opsega 𝐵 i vrijedi:
1 𝜔𝑔
max 𝑣 = = = 2𝐵 (9.14)
Δ𝑡 𝜋
Sada ćemo se pozabaviti transinformacijom 𝐼(𝜉, 𝜂). Pretpostavit ćemo
da je šum 𝜈 normalan, s poznatom srednjom vrijednosti 𝜈¯ = 0 i snagom
𝜈 2 = 𝜎𝜈𝜈 𝜈 )2 = 𝜎𝜈𝜈
2 + (¯ 2 . Pretpostavljamo takoder da je šum aditivan, tako

da je 𝜂 = 𝜉 + 𝜈, kao i da su signal 𝜉 i šum 𝜈 medusobno nezavisni.

Transinformacija je odredena relacijom (9.6). Tu je 𝐻(𝜂|𝜉) srednja uvjetna
entropija:
ˆ
+∞ ˆ
+∞
1
𝐻(𝜂 |𝜉 ) = 𝑝𝜉𝜂 (𝑥, 𝑦) ld 𝑑𝑥𝑑𝑦 (9.15)
𝑝𝜂|𝜉 (𝑦 |𝑥 )
−∞ −∞

pri čemu je, kako znamo

𝑝𝜉𝜂 (𝑥, 𝑦)
𝑝𝜂|𝜉 (𝑦 |𝑥 ) = 𝑝𝜂 (𝑦 |{𝜉 = 𝑥} ) = (9.16)
𝑝𝜉 (𝑥)

uvjetna gustoća vjerojatnosti, koju možemo dobiti deriviranjem iz odgova-

rajuće uvjetne funkcije razdiobe:
𝑑
𝑝𝜂 (𝑦 |{𝜉 = 𝑥} ) = 𝐹𝜂 (𝑦 |{𝜉 = 𝑥} ) (9.17)
𝑑𝑦
i gdje uvjetnu funkciju razdiobe definiramo kao uvjetnu vjerojatnost:

𝐹𝜂 (𝑦 |{𝜉 = 𝑥} ) = P({𝜂 ≤ 𝑦} |{𝜉 = 𝑥} ) (9.18)

Smjenom 𝜂 = 𝜉 + 𝜈 u (9.18) dobivamo:

P({𝜂 ≤ 𝑦} |{𝜉 = 𝑥} ) = P({𝜉 + 𝜈 ≤ 𝑦} |{𝜉 = 𝑥} ) =

(9.19)
= P({𝑥 + 𝜈 ≤ 𝑦} |{𝜉 = 𝑥} )

Kako su, po pretpostavci, slučajne varijable 𝜉 i 𝜈 nezavisne, to slučajni

dogadaj {𝜈 ≤ 𝑦 − 𝑥} ne zavisi od vrijednosti 𝜉, tako da je:

P({𝜂 ≤ 𝑦} |{𝜉 = 𝑥} ) = P({𝜈 ≤ 𝑦 − 𝑥} |{𝜉 = 𝑥} ) =

(9.20)
= P({𝜈 ≤ 𝑦 − 𝑥}) = 𝐹𝜈 (𝑦 − 𝑥)

157
TEORIJA INFORMACIJA I IZVORNO KODIRANJE

Povezujući (9.18) i (9.20) slijedi da je uvjetna funkcija razdiobe:

𝐹𝜂 (𝑦 |{𝜉 = 𝑥} ) = 𝐹𝜈 (𝑦 − 𝑥) (9.21)

dok je uvjetna gustoća, prema (9.17) i (9.21) sada:

𝑑
𝑝𝜂 (𝑦 |{𝜉 = 𝑥} ) = 𝐹𝜈 (𝑦 − 𝑥) = 𝑝𝜈 (𝑦 − 𝑥) (9.22)
𝑑𝑦

2


Po usvojenoj pretpostavci šum je normalan i centriran tj. 𝜈 = N 0, 𝜎𝜈𝜈
tako da je:
(𝑦−𝑥)2
1 − 2
𝑝𝜂|𝜉 (𝑦 |𝑥 ) = 𝑝𝜈 (𝑦 − 𝑥) = √ 𝑒 2𝜎𝜈𝜈 (9.23)
𝜎𝜈𝜈 2𝜋

Sada možemo izračunati uvjetnu entropiju (9.15), koristeći (9.22):

ˆ
+∞ ˆ
+∞
1
𝐻(𝜂 |𝜉 ) = 𝑝𝜉 (𝑥) 𝑝𝜂|𝜉 (𝑦 |𝑥 ) ld 𝑑𝑥𝑑𝑦 =
𝑝𝜂|𝜉 (𝑦 |𝑥 )
−∞ −∞
ˆ
+∞ ˆ
+∞
1
= 𝑝𝜉 (𝑥) 𝑝𝜈 (𝑦 − 𝑥) ld 𝑑𝑥𝑑𝑦 =
𝑝𝜈 (𝑦 − 𝑥)
−∞ −∞
ˆ
+∞ ˆ
+∞
1
= 𝑝𝜉 (𝑥) 𝑑𝑥 𝑝𝜈 (𝑦 − 𝑥) ld 𝑑𝑦 = (9.24)
𝑝𝜈 (𝑦 − 𝑥)
−∞ −∞
ˆ
+∞ ˆ
+∞
1
= 𝑝𝜉 (𝑥) 𝑑𝑥 𝑝𝜈 (𝑦 − 𝑥) ld 𝑑 (𝑦 − 𝑥) =
𝑝𝜈 (𝑦 − 𝑥)
−∞ −∞
ˆ
+∞ ˆ
+∞

= 𝐻(𝜈) 𝑝𝜉 (𝑥) 𝑑𝑥 = 𝐻(𝜈) 𝑝𝜉 (𝑥) 𝑑𝑥 = 𝐻(𝜈)

−∞ −∞

odakle slijedi da je uzajamna informacija (9.6) jednaka razlici entropija iz-

vora i šuma:
𝐼(𝜉, 𝜂) = 𝐻(𝜂) − 𝐻(𝜈) (9.25)

Sada treba naći maksimum uzajamne informacije, uz prirodne uvjete koji

odgovaraju kontinualnom kanalu, odnosno da je zadana snaga signala 𝑃𝑆 , te
da je srednja vrijednost tog signala jednaka nuli. No, kada je zadana snaga
signala i poznata snaga šuma, onda je potpuno odredena i snaga na izlazu.
Ovo znači da se maksimiziranje (9.25) svodi na maksimiziranje 𝐻(𝜂), uz
2 .
uvjete 𝜂¯ = 0 i 𝜂 2 = 𝜎𝜂𝜂

158
 POGLAVLJE 9. STATISTIČKI MODEL KANALA

Iz §6.5.3 znamo da maksimalnu entropiju medu izvorima s ograničenom

snagom na R ima izvor s normalnom razdiobom vjerojatnosti. Na os-
novu toga možemo zaključiti da je i slučajna varijabla 𝜉 normalna. Dakle,
maksimum
Ä uzajamne
ä informacije dobit će se za normalan ulaz u kanal,
2
𝜉 = N 0, 𝜎𝜉𝜉 .
Sada nije teško »
izračunati i maksimalnu
» vrijednost uzajamne informacije.
2
Imamo 𝐻(𝜂) = ld 2𝜋𝑒𝜎𝜂𝜂 i 𝐻(𝜈) = ld 2𝜋𝑒𝜎𝜈𝜈 2 tako da je:

1 Ä 2
ä 1 Ä
2
ä
max 𝐼(𝜉, 𝜂) = ld 2𝜋𝑒𝜎𝜂𝜂 − ld 2𝜋𝑒𝜎𝜈𝜈 =
2 2
2 2
𝜎𝜉𝜉
! (9.26)
1 𝜎𝜂𝜂 1
= ld 2 = ld 1 + 2
2 𝜎𝜈𝜈 2 𝜎𝜈𝜈

Kombiniranjem (9.14) i (9.26), dobivamo izraz za kapacitet kontinualnog

kanala, poznat pod imenom Shannonova formula:
2
!
𝜎𝜉𝜉
Ç å
1 𝑃
C = 2𝐵 · ld 1 + 2 = 𝐵 ·ld 1 + 𝑆 (9.27)
2 𝜎𝜈𝜈 𝑃𝑁

Razlomak u zagradi pod logaritmom naziva se omjer signala i šuma i

predstavlja jedan od najvažnijih parametara u svakom telekomunikacijskom
okruženju. Napomenimo da Shannonova formula (9.26) predstavlja opći
slučaj i u praktičnim realizacijama komunikacijskih sustava se djelomično
modificira na način da se uz omjer signala i šuma javljaju odredeni parame-
tri proistekli iz konkretnog tehnološkog rješenja (pojačanje kanalnog kôda,
margina šuma, Shannonov procjep i sl.).

9.3. Drugi Shannonov teorem

Kao osnovnu karakteristiku izvora 𝑆 uveli njegovu entropiju 𝐻(𝑆). Kad

promatramo prijenos informacije kao proces koji se odvija u vremenu, po-
red entropije važna je i brzina generiranja simbola 𝑣. Ove dvije veličine
možemo objediniti u jednu, tzv. informacijski tok izvora 𝜑 = 𝑣·𝐻(𝑆). Kako
je „ jedinica” za entropiju je 1 šenon po simbolu, a brzina 𝑣 se izražava u
simbolima u jedinici vremena (sekundi), to je jedinica za informacijski tok
1 Sh/s. Naravno, fizikalno je ova jedinica recipročna sekunda.
Sada možemo formulirati jedan od osnovnih rezultata teorije informacija
i kodiranja, poznat pod imenom Drugi Shannonov teorem: ako informacijski

159
TEORIJA INFORMACIJA I IZVORNO KODIRANJE

tok izvora nije veći od kapaciteta kanala, 𝜑 ≤ C , onda postoji način kodira-
nja ulaza u kanal, takav da je vjerojatnost grešaka u prijenosu proizvoljno
mala.
Preciznije, za zadano 𝜀 > 0 može se naći kôd takav da vjerojatnost greške
bude manja od 𝜀. Dakle, postoji kanalni kôd koji smanjuje vjerojatnost
pojavljivanja greške ispod neke unaprijed utvrdene razine. Ako je pak 𝜑 >
C , onda takav kôd ne postoji, tj. prijenos je obavezno s greškama.
Dokaz drugog Shannonovog teorema nije jednostavan, i nećemo ga na-
voditi. Važno je reći da je to tipični dokaz egzistencije, dakle pokazuje se
postojanje kôda sa navedenom osobinom, ali se ništa ne kaže o njegovoj
konstrukciji. Ovdje je situacija bitno drukčija nego kod prvog Shannono-
vog teorema. Tamo se precizno zna koji kôd za zadani izvor ima najmanju
prosječnu duljinu kôdne riječi (konkretno, to je Huffmanov kôd), a ovdje je
pitanje konstrukcije odgovarajućeg zaštitnog (korekcijskog) kanalnog kôda
otvoreno pitanje.

160
 POGLAVLJE 9. STATISTIČKI MODEL KANALA

Dodatno gradivo

∙ Quidquid agis, prudenter agas et respice finem.

(Sve što radiš, radi pažljivo i misli na kraj.)
latinska izreka

∙ Srce ima svoje razloge, koje glava ne može shvatiti.

Blaise Pascal

∙ Što ne boli nije život.

Što ne prolazi nije sreća.
Ivo Andrić

∙ Kada ti se prijatelj vije visoko

ne prilazi mu dok te ne potraži.
Norman Mailer

∙ Trudi se postati ne uspješnim čovjekom,

nego čovjekom koji vrijedi.
Albert Einstein

161