1.

UVOD U TEORIJU INFORMACIJA

1.1. Uvod



Novo znanstveno područje ”Teorija informacija”, nastalo je zbog
praktičnih problema, koji su se javljali kod projektiranja, izvođenja, rada i
održvanja komunikacijskih uređaja u telegrafsko-telefonskim i


radiokomunikacijskim sustavima i TV vezama, te svim sličnim sustavima u
kojima prenosimo, prerađujemo i pohranjujemo informacije.


U sklopu modernizacije željezničkog prometa, HŽ uvodi informacijske
sustave u poslovanje željeznice. To su: UIS (upravljačko-informacijski
sustav), PIS (poslovni informacijski sustav) i SDU (sustav daljinskog
upravljanja) te SPEV (stabilna postrojenja električne vuče). Zbog toga je za

obrazovanje kadrova na željeznici uveden predmet ”Informacijski sustavi u
željezničkom prometu” u kojem se teoretski i praktički razmatra
funkcioniranje i stanja objekata, usluga, procesi kretanja putnika, vlakova i

robe, pomoću informacijskih signala na ulazu i izlazu iz sustava.

U teoriji informacija obrađuju se zakonitosti predaje, prijema, prerade
uskladištenja informacija u razlilitim sustsvima i matematičkim modelima
praktičnoj primjeni.


Stanje nekog informatičkog sustava opisujemo pomoću brojeva. Brojevi
su pridruženi parametrima i karakteristični za trenutno stanje sustava,
međusobno zavisni, te podliježu nekim zakonitostima. Veze izmedu
parametara i zakonitosti kod određenih stanja i promjena, ciljevi su

znanstvenog i teoretskog pristupa i u istraživanjima. Takva istraživanja

zahtijevaju matematički instrumentarij. Na tcmelju poznavanja trenutnih
stanja, mogu se predvidjeti i buduće, za kraće ili duže vremensko razdoblje.


Sustav je u toku svog rada određen u svakom trenutku, zauzima određena

stanja, tj. parametri sustava odnosno informacijski signali, imaju određenu


vrijednost. Ako se stanja toliko dobro poznaju, da se mogu predvidjeti, onda

je sustav odredljiv-determinističan, tj. postoji uzročna zavisnost izmedu
sadašnjeg i budućeg stanja. Budući da sc zakonitost ponašanja može


odrediti, možemo s određenom vjerojatnošću zaključiti, što se o ponašanju

sustava može u budućnosti očekivati. Egzaktnije, možemo predvidjeti


proračunom određenu vjerojatnost raspodjele svih mogućih stanja u

budućnosti. Da bi to stvarno mogli izračunati, problem treba promatrati
kvantitativno tj. na temelju podataka o stanju signala, kontroli i izvršenju


naredbi i mjerenjima u samom sustavu.

Kod brojčanog razmatranja mogu postojati dvije krajnosti stanja. Prvo


 moguće stanje je velika neizvjesnost ili stanje u kojem vlada “veliki kaos ili
nered”, te nema zakonitosti veza sadašnjosti i budućnosti. Drugo je stanje
”velikog ili apsolutnog reda” ili ”potpuna organiziranost”. Kad se problem
razmatra deterministički moglo bi se reći: svakom uzroku odgovara potpuno



određena posljedica. Stvarnost je negdje između ta dva moguća stanja, a na
nama je da budućnost predvidimo sa što većom vjerojatnošću.
Mjerenjem parametara dobije se brojčni pokazatelj neizvjesnosti ili


mjera nereda i obično se naziva entropija sustava. Točno definiranje i
određivanje entropije (stanja) sustava brojčanim određivanjem pojedinih
parametara, jedan je od problema koji rješava teorija informacija.


1.2. Komunikacijski sustav
Svaki se informacijski sustav razmatra na određeni način. Tako će se i
informacije u željezničkom prometu razmatrati samo s aspekta određenih

problema na željeznici i pomoću parametara koji određuju ovu vrstu
prometa. Na jedaoj strani se stvaraju informacije u obliku signala: naredbi i
događaja (položaja skretnice, prolaza vlaka i sl.), koji čine izvor podataka.

Ovi se podaci odašilju preko nekog sredstva. To je prijenos informacija

preko kanala veze do primaoca poruke ili prijemnika (npr. postaje ili TK
centra). Dakle postoji izvor (odašiljač), kanal i odredište (prijemnik). Uz
korisne informacije na odredište mogu stići i signali iz različitih, često


nepoželjnih izvora, koji ometaju pravilno primanje odaslanih poruka. Cijeli
ovakav sustav za vezu izmedu odašiljača (izvora) preko kanala do
prijemnika (odredišta) predstavlja i zove se komunikacijski sustav i prikazan
je slikom 1.1.

ODAŠILJAČ KANAL PRIJEMNIK



SMETNJE


Sl.1.1. Komunikacijski sustav



U cilju poboljšanja rada komunikacijskih sustava, istražuju se pomoću

matematičkih modela odnosi u različitim tipovima sustava, s praktičnim


vrijednostima izgrađenih sustava. Na temelju konkretnih podataka, modeli

se kvantitativno uspoređuju u količini i brzini odašiljanja signala,


pouzdanosti i kvaliteti prenesenih podataka i sličnim pokazateljima

kvalitete, ekonomičnosti i sigurnosti. Ti su podaci važni (ne samo zbog
konkurentskih razloga), posebno u tehničkim komunikacijskim sustavima


 poput: telegrafskih, telefonskih, radija, televizije, radara, satelitskih veza,
policijskih i vojnih uređaja i sl.
1.2.1. Glavni dijelovi komunikacijskog sustava



Već 1948. godine postavljeni su temelji Teoriji informacije, kad je
amerikanac C.E. Shannon objavio ”A Mathematical Theory of
Communications”. U tom je značajnom djelu obradio matematičke modele i


definirao parametre za konstruktivnu analizu tehničkih komunikacijskih
sustava. Dao je jednostavni shematski prikaz komercijalnog sustava, koji je
polazište predodžaba o funkcioniranju komunikacijskih sustava i prikazan je


sIikom 1.2.

ODAŠILJAČ KODER KANAL DEKODER PRIJEMNIK

SMETNJE

r



Sl. 1.2. Shematski prikaz rada komunikacijskog sastava

Iz odašiljača emitiraju se poruke u obliku impulsa ili drugih oblika


signala s određenom raspodjelom vjerojatnosti.
U koderu se odašiljački signali transformiraju u oblik, koji je prikladan
za prijenos raspoloživim kanalom za vezu s prijemnikom.
Kamunikacijski kanal-veza može biti žična ili bežična. Na tom putu od

izvora do odredišta, korisna je informacija izložena utjecaju smetnji, koje

mijenjaju odaslanu informaciju. Cilj teoretskc razrade oblika i izvora
smetnji, je smanjenje izobličenja poruke, zbog djelovanja smetnji.


U dekoderu se odaslana poruka pretvara u prikladan oblik, koji odgovara

poslanoj poruci, koja se onda primi vizualno, akustično ili drugim načinom


u prijemniku, odnosno kod primaoca poruke.



1.3. Parametri komunikacijskog sustava

1.3.1. Razvoj teorije informacija



Nakon Shannonovih opisa bitnih fenomena u tehničkim izvedbama



komunikacijskih sustava, važnih za rješavanje telekomunikacijskih

problema, teorija informacija profirila se na sve grane gospodarstva.
Praktički više nema področja ljudske djelatnosti u kojem se ne primjenjuju


 informacijski sustavi, posebno za obradu podataka.
Teorija informacija u biti se razvijala u dva smjera. Jedan se bavio
matematičkom obradom teorijskih i praktičnih rezultata uz stvaranje
matematičkih modela i primjenu vjerojatnosti i statistike. Drugi smjer



razvoja je primjena koja koristi teorijske postavke i dostignuća za rješavanje
konkretnih problema. Za nas je interesantna primjena kod upravljanja i
nadzora željezničkog prometa, kao i u računarskoj tehnici.


1.3.2. Definicija informacije


Informaciju možemo smatrati podatkom o nečemu, uputom,
obavještenjem. Različiiti izvori daju informacije preko suvremenih
sredstava predaje i prijenosa kao što su radio, novine, televizija, telefon,
telegraf i sl. Informaciju također možemo promatrati kao kvalitativni faktor.

Kao takva određuje stanje nekog sustava, te utjecaj jednog sustava na drugi.
Zahtijeva mogućnost mjerenja informacije, pa se ona mora kvantitativno

izraziti.
Bilo kakovu informaciju, tekst ili sliku predočvamo u obliku diskretnih
ili kontinuiranih signala (najčešće binarnih znakova) ili brojeva. Oni su
nosioci informacije i možemo ih teoretski i računski obradivati.


1.3.3. Važni parumetri za prijenos informacija

Prema slici 1.2. informacija putuje od izvora do odredišta preko kanala

veze i tehničkih uredaja koji čine telekomunikacijsku mreiu za prijenos

poruka. Na tom putu informacije (signala) moraju biti ispunjeni slijedeći

uvjeti: brzina, vjernost i sigurnost.
Mreža za prijenos podataka je jako složen i organiziran sustav kojeg čine


čvorovi povezani kanalima s različitim kapacitetima, namjenama i tehničkim

izvedbama. Trebali bi imati slijedeća svojstva: mogudnost posluživanja (pri


tom je važna kompatibilnost uređaja) i mogućnost izmjene režima rada.

S tim u vezi teorija informacija rješava slijedeće probleme:


1. Prijenos signala

Tu spadaju:


− ulazne i izlazne jedinice (sklopovi)

− kodiranje i dekodiranje signala


− kriteriji i uredaji za realizaciju prijenosa

− vjernost prijenosa


 − optimalno iskorištavanje kapaciteta kanala
− ekonomičnost

2. Problemi cjelokupne mreže



U sklopu mreže trcba osigurati pouzdan rad uređaja i omogućiti
realizaciju njihova pravilnog funkcioniranja. Tako problemi mreže
rješavaju:


− uređaji za preradu podataka
− uređaji za uskladištenje podataka


− uređaji za distribuciju podataka
− kriteriji (uvjeti) za upravljanjc mrežom: sigurnost, kvaliteta, brzina

3. Optimiziranje sustava

Sustavi su sve složeniji, pa da bi se postigli: brzina, ekonomičnost i
vjernost, treba ostvariti:
− optimalne i sigurnosne kodove

− brzinu prerade informacija (jer ih ima mnogo)

− optimalnu eksploataciju račfunala kao i
− programa i jezika za smanjenje gubitaka informacija.


1.3.4. Zadaci teorije informacija

Zadaci teorije informacija jesu proučavanje zakonitosti i rješavanje teoretskih i

praktičnih problema u vezi s prcdajom, prijenosom, prijemom, preradom i

uskladištenjem informacija. Važan je efektivni prijenos. To znači mogućnost što
više vjerno prenesenih podataka kroz kanal, u zadanom vremenu.


1.3.5. Oblici informacija iz izvora



Izvor informacija može dati brojeve, tekst, govor, glazbu, slike, naredbe
itd. Takve informacijc mogu biti diskretne i kontinuirane.


Skup diskretnih informacija jesu npr. abeceda ili Morzeovi znakovi.

Možemo ih predočiti kao konačni broj elementarnih simbola. To su sve
diskretni nizovi ili brojčne vrijednosti bilo kao dekadski ili binarni simboli.


Kontinuirane informacije predstavljaju vremenski neprekidni skup

različitih vrijednosti. Takvi su informacijski signali govora, glazbe ili


kontinuirani signali u telemetriji. Kontunuirane informacije se mogu

pretvoriti u diskretne (npr. A/D konverterom u PCM).


 1.4. Funkcioniranje komunikacijskog sustava

Detaljnija logička shema komunikacijskog sustava prikazana je na slici 1.3.



IZVOR KODER KODER DEKODER DEKODER
INFORMACIJA INFORMACIJA SIGNALA KANAL SIGNALA INFORMACIJA ODREDIŠTE


SMETNJE


Sl. 1.3. Detaljna blok shema komunikarijskog sustuva

Slova abecede, brojke i ostali znakovi kod prenošenja poruka obično se

zamjenjuju nizom točaka i crta (Morzeov kod) ili nula i jedinica

(Međunarodni kodovi), zbog lakšeg prijenosa signala. Dakle u prvom
koderu odašiljača tekst se kodira, odnosno transformira u niz točaka i crta ili

nula i jedinica, pa šalje kao takav u kanal ili prije toga ponovno kodira u
koderu signala u prikladan oblik za prijenos preko kanala veze s
prijemnikom.
Koja je svrha kodiranja? Cilj i svrha kodiranja je što brži i sigurniji


prijenos poruka od odašiljača do prijemnika. To znči da se tekst pretvara u
oblik što je moguće kraćih (zbog brzine) niza znakova, a da pri tome
vjerojatnost pogrešnog prijema bude što manja, odnosno točnost prijema
ispravnog sadržaja teksta što veća (zbog sigurnosti).

Koder informacija pretvara informariju u bilo kojem ili standardnom

obliku u slijed simbola npr. točka i crta ili nula i jedinica.
Koder signala transformira kodiranu informaciju u signal prilagođen za


predaju po kanalu veze.

Smetnje utječu u kanalu veze na signal, izobličuju ga, oduzimaju mu ili
dodaju nepoželjne signale.


Treba tako kodirati, da se na izlazu sustava odredi pravilna informacija

uz minimalnu pogrešku.


Dekoder signala prima signal i određuje kodiranu informaciju.

Dekoder informacije pretvara kodiranu informaciju u oblik iz kojeg će se
na najbolji način zaključiti kakva je bila predana informacija.


Za usporedbu pojedinih sustava potrebne su univerzalne mjere ili

standardi. Za kvantitativno određivanje važno je:


- sposobnost prenošenja informacija kroz sistem

- volumen (količina) prenesenih podataka.


 Gornji su podaci za kvantitativno ocjenjivanje dani u sadržaju
informacije jednog simbola u odnosu na drugi.
Pojam "sadržaj informacije" može se dati u dva teorema.



1. Prvi teorem ispunjava koder informacije, a znači: "sadržaj informacije
jednak je prosječnom broju binarnih znamenaka poruke".
2. "Uz određene uvjete signali se mogu kodirati i dekodirati tako, da


vjerojatnost pogrešnog prijama informacije bude po volji malena".

Da bi se optimizirao rad komunikacijskog sustava mora biti ispunjen niz


faktora. Navedeno će biti pet najvažnijih.
Struktura mreže. Mogući su različiti zahtijevi kao npr. a) kanal veze
mora biti stalno spojen izmedu dvije fiksne točke i b) drugi kanali veze za
prijenos podataka uk1jučuju se automatskom komutacijom.

Karakter poruke. Poruka može biti zvučna, slika, podaci štampača, slova,
brojke. Važni su zahtjevi korisnika na izobličenja poruke.

Karakteristike signala za prijenos. Obzirom na način modulacije (AM,

FM, PCM) oblik signala je različit kao i mogućnosti izobličenja i utjecaj
smetnji. Također je za postizanje kvalitete, važno prilagođenje uređaja.
Tehničke karakteristike komponenata izvedenog sustava. Obično su


zahijevi kontradiktorni, jer su u pitanju cijena i kvaliteta. U karakteristike
spadaju snaga, šum, kapacitet, frekvencijski pojas, stabilnost.
Prilagodbe sustava, kompatibilnost. Kod izvedbe novih sustava važno je
da se uklope u postojeće stare, ali ne samo na razini države, nego kontinenta,
pa i cijele Zemlje.

1.5. Komunikacijski kanal



Zadaća kanala veze je prijenos podataka između dvaju korisnika iii



odašiljača i prijemnika, koji su fizički i prostorno odvojeni. U

informacijsko-komunikacijskim sustavima se najčešće prenose digitalni
podaci bilo u samom računalu ili između odvojenih jedinica. Podaci se


prenose kao niz izmjeničnih ili istosmjernih impulsa napona ili struje.
Pod kanalom veze podrazumijeva sc dio komunikacijskog sustava (vidi


sliku 1.3.) koji uključuje: koder informacija, koder signala, kanal sa

smetnjama i dekodere signala i informacija.
Kodirani signali putuju komunikacijskim kanalom veze od odašiljača ka


prijemniku. U svakom realnom sredstvu kanala postoje i signali izvora

smetnji, koji se pridružuju korisnim signalima. Zbog toga izlazni signal iz


 sustava nije identičan ulaznom signalu. Dakle prolaskom informacije kroz
kanal veze, dolazi i do smanjenja (uslijed prigušenja na linijama) kao i
izobličenja (šumovi i smetnje) signala ili do degradacije informacije.
Svaki komunikacijski sustav mora u što kraćem vremenu prenijeti što više



točnih informacija. Pri tom je važna brzina prijenosa podataka. Maksimalna
brzina kojom se podaci mogu prenositi je propusna moć kanala veze.
Prijenos informacija ovisi i o stanju kanala, koje se mijenja ovisno o:


prethodno prenesenim signalima; to je kanal s određenom memorijom,
kapacitetu kanala; to je i propusna moć nekog kanala bez memorije.
Kapacitet C kanala zavisi i o frekvencijskom opsegu prijenosnog sustava,


trajanju signala i o omjeru veličina signala i šuma.
Važno je znati, da je nemoguće postići brzinu prijenosa informacija veću
od kapaciteta kanala. Medutim, paralelnim spajanjem kanala veze ili preko
multipleksera, moguće je povećati brzinu prijenosa informacija.

Prijenos diskretnim kanalima K1 i K2 bez memorije s kapacitetima C1 i
C2 ima slijedeću ovisnost. Kad kanale K1 i K2 paralelno spojimo dobiti ćemo

novi kanal K, a on će imati novi kapacitet C, povećan prema izrazu

C=ln(eC1 +eC2 ) odnosno eC =eC1 +eC2

1.6. Informacija


Da bi se informacija mogla kvantitativno razmatrati, mora se prikazati
brojem. U takvom se obliku informacija može tretirati poput bilo koje fizikalne
veličine (puta, brzine, energije, sile itd.), kvalitativno i kvantitativno.

Nosioci informacija jesu diskretni i kontinuirani signali. Za njihovo

kvantitativno karakteriziranje treba uvesti nove pojmove i računsku obradu
pomoću vjerojatnosti i statistike.


I informacija x i smetnja z jesu slučajne promjenljive veličine, podliježu

određenoj raspodjeli vjerojatnog pojavljivanja, dakle one su slučajne, ali


određene varijable. U shematskom prikazu komunikacijskog sustava te

varijable možemo upisati kao na slici 1.4.


ODAŠILJAČ
x y=f(x,z) PRIJEMNIK
KANAL


z
SMETNJE


Sl.1.4. Prikaz varijabli komunikucijskog sustava


 U komunikacijski kanal ulazi korisna informacija x kao vlastita
informacija I(x) i smetnja z, a prijemnik će poruku y=f(x,z) primiti kao
združenu informaciju I(x,y).
Za zadanu slučajnu varijablu x sada je matematički problem kako točno



odrediti i definirati parametre I(x) (vlastite informacije) obzirom na
prispjelu I(x,y) informaciju. Vjerojatnost je mjera određenosti nastupa
događaja ili informacije, koja je slučajna veličina i podliježe statistici.


Teoretsko razmatranje toka informacija u komunikacijskim sustavima nije
moguće bez poznavanja računa vjerojatnosti i statistike.


1.7. Izvor informacije

Kad teleksom šaljemo neku poruku, u određenom vremenskom intervalu,

u odašiljač će biti upisano ”n” znakova teksta koji sadržava znakove
abecede, brojeve, interpunkcije, adresu primaoca i naredbe (start, stop i sl.).
Da bi se teoretski razmatralo ovakav sustav, mora se načiniti matematički

model. Pri stvaranju modela polazi se od slijedećeg:

1. Generiranje informacija sastoji se od odašiljanja niza impulsa, a to
znači znakova koji predstavljaju simbole slova, brojeva, interpunkcija i sl.
Ti se impulsi uzimaju iz nepraznog skupa X svih raspoloživih znakova. Taj


je skup konačan, jer ima (x1,.x2,….xn) elemenata i poruka se može prikazati
kao n- člani niz:
x = (x1,x2,…..xn>), i = 1,2,...n.
Poruka sadrži razne kombinacije znakova iz skupa X koji npr. mogu biti

svi znakovi abecede. Tako npr. slova naše abecede imaju konačn broj
znakova i čine skup X koji sadrži 27 elemenata, pa ”n” poprima vrijednosti
od 1 do 27. Međutim za bolje sporazumijevanje, tekst koji predstavlja našu


poruku, treba sadrižavati i brojeve, znakove interpunkcije, te različite

naredbe za sporazumijevanje između uređaja koji su vezani preko kanala


veze. Zbog toga skup simbola za korektno prenošenje poruka treba imati
znatno više od 27 elcmenata. Za brzu i kvalitetnu vezu dvaju korisnika
(odašiljača i prijemnika) trebalo bi osigurati i isto toliko kanala, koliko ima


elemenata skupa. To bi bilo veoma skupo i neekonomično.

2. Najprikladniji i najekonomičniji način ostvarenja veze dvaju korisnika


preko jednog kanala veze moguće je ostvariti pretvaranjem poruke u

kombinacije binarnih brojeva. U elektroničkoj obradi podataka koristi se
binarni kôd s dva logička pojma ili znaka: nula i jedan. Svaki se binarni broj


A možie prikazati kao suma:

A = ak2k+ ..+ a121+ a020,


 gdje su ”a” znamenke binarnog broja i poprimaju moguće vrijednosti 0
ili 1. Binarni ćemo broj prema gornjem izrazu pretvoriti u dekadski
jednostavnim sumiranjem vrijednosti. Baza binarnog sustava je broj 2 ili B
= 2. Broj elemenata n odredenog skupa X binarnih brojeva je i maksimalni



broj kombinacija:
X=Bn.
Tako npr. u binarnom sustavu s n=7 elemenata (simbola) možemo


načiniti maksimalno X=27=128 brojeva ili znakova.
3. Smetnje se superponiraju korisnim signalima i oni u prijemnom dijelu
više nemaju izvorni oblik.


Dio sustava koji sadrži koder na ulazu, a dekoder na izlazu, možemo
nazvati komunikacijskim sustavom predočenim slikom 1.6. Na ulaz u taj
sustav dolaze slučajni događaji iz skupa X. Na izlazu će se takvi kodirani
događaji pojaviti kao elementi članova skupa Y koji čine m-člani niz:

y = (y1,y2,….ym) j=1,2,….m.
Suština procesa prijenosa informacija je u tome da se od n simbola na

ulazu (npr. xi od skupa X) na izlazu primijeti yj, a nakon toga odluči koji je
simbol bio predan ulazu.
4. Kod slanja poruka koristimo ”jezik” u kojem vladaju određene
statističke zakonitosti. Tako se frekvencija pojavljivanja simbola određuje


vjerojatnostima. Npr. xi se pojavljuje s apriornom (prije događaja)
vjerojatnošću p(xi).
Sustav čine realni sklopovi i mediji. U njima djeluju slučajni događaji
kao što su šumovi, smetnje i izobličenja. Stoga se događaju xi može
pridružiti događaj yj. Ali takva se pridruživanja ne događaju stalno. Svaki će

se element skupa Y pojaviti s određenom nesigurnošću, odnosno

vjerojatnošću p(y).
Preostala nesigurnost karakterizirana je s aposteriornom (poslije


događaja) vjerojatnošću p(xi/yj). To se može reći i tako, da pojava događaja

yj mijenja vjerojatnost pojave događaja xi iz apriorne p(xi) u aposteriornu


p(xi/yj).
Istovremeno pojavljivanje parova ili združena vjerojatnost p(xi,yj) može


se predočiti kao produkt vjerojatnosti i pisati kao:

p(xi,xj) = p(xi)·p(yj/xi) = p(yj)·p(xi/yj).
Pri tome je p(yj/xi) uvjetna vjerojatnost. Njena se veličina može odrediti


ako se zna mehanizam transformacije ulaznog znaka xi u izlazni yj. Združena

će se vjerojatnost moći izračunati, ako su poznate vjerojatnosti pojavljivanja


simbola xi.


 1.7.1. Sadržaj informacije

Analiza rada informacijskog sustava, optimizacija, održavanje i

projektiranje budućih, moguće je samo konkretnim, odnosno brojčanim



razmatranjem. To znači da se svaka informacija mora kvantitativno izraziti.
Promatranjem događaja i činjenica došlo se do zaključka da je mjera
količine informacija koju donosi pojedini signal, logaritamskog karaktera.


Predloženo je da se signalu koji se bira iz skupa ” n ” mogućih signala
pridruži informacija I(n) = log n.
Obično se informacija sastoji od barem dvaju podataka iz skupova s ”m”


i ”n” mogućih signala. Poruka što ju takav par nosi jednaka je izrazu:
I(m n) = I(m) + I(n),
te je logično da je informacija I logaritamska funkcija i zbraja se prema
izrazu:

log(m n) = log m + log n.
Informacija je svaki prirodni broj ”n” i log n > 0. To znači da je

informacija uvijek pozitivna veličina. Nedostatak je takvog razmišljanja

njegova nerealnost, jer se sve poruke (svi signali) tretiraju ravnopravno tj. s
jednakom vjerojatnošću.
U komunikacijama i korisni signali (poruke) i smetnje (šumovi i sl.) jesu


statističkog karaktera. Zbog toga se pojavljuju u obliku određenih raspodjela
vjerojatnosti p.
Na temelju iznesenog, informacija dobivena pojavom događaja yj, odnosi
se na događaj xi, logaritamskog je karaktera i zavisi o omjeru aposteriorne i
apriorne vjerojatnosti prema izrazu:
( )

p xi / y j
( )
I xi ; y j = log
p (xi )


Na gore napisan način, definiran je uzajamni sadržaj informacije. Kad je

baza logaritma 10 mjera jedinice informacije je dekadska jedinica ”dit”.


U matematici se najčešće koriste prirodni logaritmi s oznakom ”ln” i

bazom ”e”, pa je u tom slučaju jedinica informacije ”nit”.


Suvremeni tehnički uređaji obično rade s binarnim sustavom, pa je baza

logaritma 2. To su tzv. dualni ili ”ld” logaritmi, a jedinica sadržaja
informacije im je binarna jedinica ”bit” (binary digit).


Obzirom na izvedbu uređaja najprikladnije je raditi s dualnim

logaritmima, te izraz sadržaja informacije postaje:
( ) ( ) = ld p(xi ⋅ y j )
p xi / y j ⋅ p y j


( )
I xi ; y j = ld
p (xi )⋅ p (y j ) p (xi )⋅ p (y j )


 pa se iz toga vidi da je sadržaj informacije simetrična funkcija u odnosu
na događaje xi i yj, odnosno vrijedi:
I(xi;yj) = I(yj;xi).
U komunikacijskim sustavima nisu nam interesantni pojedini znakovi



(sadržaji informacija), već svojstva sustava u cjelini. To se postiže
uvođenjem srednjih (prosječnih) sadržaja informacija u odnosu na cijeli
skup događaja. Sada sadržaj informacije, s pripadajućim vjerojatnostima,


čine statistički skup X, za koji se mogu računati prosjeci. Veličina I(X;yj)
predstavlja srednji sadržaj informacije koju donosi primljeni simbol yj, a
koji se odnosi na skup svih predanih simbola X.


Veličina I(X) predstavlja srednji vlastiti sadržaj informacije. Ona
predstavlja onaj iznos informacija koji je u prosjeku potreban da bi se
odredila bilo koja pojedinačna vijest iz skupa X mogućih vijesti koje se
prenose nekim sustavom. Uobičajeno je pisati za I(X) i H(X). U tom se

slučaju zove entropija diskretne slučajne veličine X. H(X) ili entropija je
mjera neizvjesnosti ili kvantitativna mjera neodređenosti neke vijesti, prije

nego što je primljena. H(X) predstavlja iznos informacija, koji se mora u

prosjeku utrošiti da bi se upoznala bilo koja vijest iz skupa X. Entropija ne
može biti negativna veličina, jer i vlastiti sadržaj je pozitivan ili najmanje
nula.


Veličinu H(X) naziva se i mjerom nereda. Entropija H(X) = 0 samo u
slučaju kad je jedna od vjerojatnosti događaja p(x;) = 1, a sve ostale su
jednake nuli. To znači da se može prenijeti samo jedna vijest, te se nakon
nje ne dobiva više nikakav sadržaj informacije.
Izrazi za odnose između potpunog, uzajamnog sadržaja informacija I i

entropija H ili mjera neodređenosti vijesti, odnosno iznosa informacija jesu

slijedeći:
I(X; Y) = H(X) + H(Y) - H(X, Y)


I(X; Y) = H(X) - H(X/Y)

I(X; Y) = H(Y) - H(Y/X)


Analogno, kako su označene uvjetne vjerojatnosti događaja na ulazu i

izlazu komunikacijskog kanala p(yj/xi), tako se može veličina I(Y/X) nazvati


uvjetnom entropijom skupa događaja Y uz zadani skup događaja X i

označava se kao H(Y/X).




 




Sl.1.5. Prikaz Vennovih dijagrama
U teoriji informacija, naročito kod proračuna prijenosa informacija važan
je srednji uzajamni sadržaj informacije I(X;Y) i obično se izražava pomoću
entropija. Grafička interpretacija ovakvih izraza jesu Vennovi dijagrami

prikazani na slici 1.5.
Prethodno navedeni izrazi za vezu srednjeg sadržaja informacija i

entropija imaju vrlo važnu primjenu u tehnici i proračunu prijenosa

informacija. To je najprikladnije razmotriti na blok shemi prikaza
komunikacijskog kanala prema slici 1.6.
x1 y1


ODAŠILJAČ
x2 y2 ODREDIŠTE
KOMUNIKACIJSKI
= IZVOR SUTAV =PRIJEMNIK
INFORMACIJA
xi yi
xn yn

SMETNJE






Sl.1.6. Tok informacija kroz komunikacijski sustav


 Iz odašiljača izlaze događaji kao elementarni simboli (x1,x2,…xn), koji se
interpretiraju kao entropija H(X) ili mjera neizvjesnosti srednjeg vlastitog
sadržaja informacija I(X), odnosno srednji sadržaj predane informacije.
Prolazom kroz komunikacijski kanal, signali su podvrgnuti smetnjama.



Zbog toga signali na prijemnu stranu ulaze kao modificirani elementarni
simboli i označeni su: (y1,y2,….yn).
Mjera neizvjesnosti ili entropija srednjeg sadržaja izlaznih informacija iz


komunikacijskog sustava, koji ulaze u prijemnik, označena je kao H(Y). To
je srednji sadržaj stvarno primljene informacije.
Zbog gubitaka u sredstvima prijenosa, jedan dio informacija nestaje.


Označen je kao H(X/Y) i predstavlja srednji sadržaj izgubljenih informacija.
Veličina I(X;Y) je obzirom na odašiljač, preneseni dio informacija od izvora
k odredištu i ima smisao transformacije, pa se označava i kao HT.
Veličina I(X; Y) zove se i srednji uzajamni sadržaj informacije, jer to je i

srednji sadržaj primljene informacije. Na prijemni dio osim korisnih signala, stigle
su i smetnje označene kao H(Y/X). Zato se veličina H(Y/X) zove i ”entropija

šuma”. Ona ne predstavlja korisnu informaciju već dio primljene informacije, koji
je povećan za iznos smetnji, kojima je šum najveći doprinos. Veličina H(Y/X)
može se lako odrediti mjerenjem na realnom sustavu, a teže teoretski, jer je
određena strukturom smetnji i karakterom njihove interakcije sa signalom.


1.8. Kodiranje

Kodiranje informacije je operacija prikazivanja skupa znakova (abecede)

pomoću slijeda simbola drugog niza (abecede). Prema broju elementarnih

simbola koje koristimo, kodove nazivamo: binarni (s dva simbola 0 i 1),

ternarni (s tri različita simbola) itd. U praksi se najviše koristi binarni kod,
jer je tehnička izvedba sklopova za kodiranje i dekodiranje najjednostavnija.


Skupine signala od nula i jedinica koje označavaju binarni broj u

računalu, predstavljaju određeni simbol (slovo, broj itd.) i nazivaju se


kodnom kombinacijom. Pri tome je element kodne kombinacije 1 bit (tj.

nula ili jedinica), pa bitovi sačinjavaju kodnu kombinaciju.


Postoji nekoliko tipova kodova, već prema broju elemenata i oni mogu
biti višeznačni tj. mogu imati 5, 6, 7 ili 8 elemenata u kodnoj kombinaciji.
Kodovi mogu biti ravnomjerni i neravnomjerni. Ravnomjerni imaju


jednaki broj elemenata u svakoj kodnoj kombinaciji, dok ih neravnomjerni

nemaju, odnosno broj elemenata je različit za znakove podataka ili teksta.


Postoje i tzv. korekcioni kodovi. Oni mogu služiti za ispravljanje

pogrešaka, nastalih u toku prijenosa informacija ili su kodovi za otkrivanje
ili detekciju nastalih pogrešaka.


 1.8.1. Neravnomjerni kôd

U neravnomjernom kodu trajanje impulsa, odnosno broj elemenata, jesu

različiti. To je slučaj kod Morzeovih signala, prikazanih tablicom l. Element



se može predočiti kao jedan strujni (ili naponski) impuls. Signal trajanja to
predstavlja točku, a signal koji traje 3t0 predstavlja crtu. Razmak između
impulsa je bezstrujni (ili beznaponski) impuls trajanja to. Slovo "e"


predstavlja točka, a vrijednost broja nula predstavlja 5 crta. To su primjeri
različitog trajanja pojedinih kodnih znakova. U Morzeovom kodu prosječan


broj elemenata za jedan znak je velik (oko 9.5 elementarnih impulsa po
znaku) i zbog toga je neekonomičan. Koristi se za vezu radiotelegrafista, jer
je od svih kodova najprikladniji za prijem na sluh, zbog najmanjeg utjecaja
smetnji.

Tablica 1. Morzeov kôd











 1.8.2. Ravnomjerni kôd

U informacijskim sustavima se najčešće koristi obični (sve kodne

kombinacije imaju isti broj elemenata) kod i to ravnomjerni. U



ravnomjernom kodu npr. binarni broj 24 sačinjavaju 2 jedinice i 3 nule. Ako
kod ima 25 = 32 kombinacije, a to znači 5 elemenata, onda će mu signal
izgledati kao niz 11000, tj. ima 5 elementarnih simbola. Broj 3 se može


prikazati samo s dvije jedinice, ali u ravnomjernom kodu kojeg čine po 5
elemenata, treba imati 5 impulsa u znaku, pa će broj 3 izgladati kao niz


00011, tj. dodati će se jedinicama onoliko nula koliko je potrebno do
ravnomjernog broja, a to znači i jednakog trajanja signala za pojedini znak
(u ovom slučaju 5 to).To je potrebno zbog jednostavnije tehničke izvedbe
uređaja za odašiljanje i prijem signala.

Tipičan primjer petoznačnog ravnomjernog koda je Međunarodni kod
broj 2, koji koriste teleprinteri. Takvi su kodni signali i odgovarajuće rupice
na perforiranoj traci, prikazani tablicom 2.

Tablica 2. Međunarodni kôd broj 2













 Nule i jedinice mogu se odašiljati bilo kao strujni i bezstrujni impulsi, ili
kao pozitivni i negativni impulsi. Prije slanja kombinacije znaka daje se
polazni (start) impuls (trajanja to) koji je bezstrujni, zatim slijedi 5
elementarnih impulsa poslanog znaka, a na kraju strujni stop impuls



(trajanja 1,5 to prema CCITT standardima). Na slici T.I.7. prikazan je oblik
teleprinterskog signala slova D.
Teleprinter zbog malog broja kodnih kombinacija (25 = 32) nema malih


slova. Brojevi od 0 do 9 i znakovi interpunkcije, koriste iste kodne
kombinacije koje vrijede i za slova. Piše se jednostavno s označenim


tipkama na tastaturi, dok teleprinter automatski prebacuje pisanje sa slova
na brojeve i obrnuto.

START
to
1 2 3
5 to
4

5 STOP
1,5 to
t


Ts = 7,5 to

Sl.1.7. Oblik signala slova D odaslanog teleprinterom

1.8.3. 7-bitni ASCII kod - MEĐUNARODNI KOD BROJ 5



Za internu reprezentaciju znakova u računalima i u informacijskim



sustavima za prijenos podataka, koristi se ASCII kod ili Međunarodni kod

broj 5 prikazan tablicom 3. On je nastao zbog potrebe korištenja većeg broja
znakova. To je 7 bitni binarni kod s 27 = 128 kodnih kombinacija, koji se


zove i donji (od 0 do broja 127). U računalima se koristi i gornji ASCII kod
(od broja 128 do 255) prikazan tablicom 4.


Međunarodni kod broj 5 u prvoj polovici kombinacija ima svrstane

simbole za signalizaciju i obradu podataka, instrukcije računalu, specijalne
znakove za npr. računske operacije, znakove interpunkcije i brojeve od 0 do


9. Tako npr. znaku SP (kratica za space, predstavlja funkcijsku tipku) znači

razmaknicu na tastaturi (pomak u desno, za pisanje novog znaka). Tom


 znaku odgovaraju: 20 (heksadecimalna oznaka), 0100000 (binarna oznaka) i
032 dekadski broj odnosno red u koloni od 127 kodnih kombinacija ASCII
koda. U preostaloj polovici redaka (kodnih kombinacija) jesu velika i mala
slova latinice, standardna i specijalna za pojedine jezike (poput afrikata -



naših slova č,ć,đ,š i ž), umjesto znakova za specijalne namjene (npr. uglate i
vitičaste zagrade).
Ovako su smješteni znakovi naše abecede prema starom standardu JUS I


B1.002.
Tablica 3. ASCII kod







Tablica 4. Gornji dio ASCII koda









 Međunarodni standardi predviđaju znakove za različite jezike u gornjem
dijelu ASCII tablice kodova. To je 8-bitni ASCII kod, već važeći standard,
predočen tablicom 4.
U najnovijem MS (MicroSoft) DOS (Disk Operating System) 5 programu,



određena su mjesta za naše posebne znakove tzv. afrikate. Taj je program
modificiran srazmjerno razvoju grafički orjentiranom multimodalnom
operacijskom sustavu Windows, s posebnim multinacionalno orjentiranim


kodnim stranicama. Osnovicu ovog sustava čini ANSI kod, a za slavensko
europsko područje inačica Latin 2 prikazana tablicom 5.


Tablica 5. Latin 2 kod










Na tastaturi su oznake po standardu za razmještaj slova i znakova za

tastaturu. Posebnim programom se pridodaje znak određenoj tipki tastature.
Prikaz HR tipkovnice dat je na slici 1.8.


 


Sl. 1.8. HR tipkovnica


1.8.4. Kodovi za otkrivanje i ispravljanje pogrešaka

Korekcioni kodovi imaju dvije namjene. Prvoj je cilj detektiranje ili

otkrivanje pogrešaka u toku prijenosa informacija. Druga je namjena
detektiranje i ispravljanje nastalih pogrešaka.
U informacijskim i komunikacijskim sustavima koristi se binarni kod (s

bazom B=2) i to višeznačni s mogućim k = 5, 6, 7 i 8. Tako se u "k"-

značnom kodu može koristiti X = Bk kodnih kombinacija ili varijacija s
ponavljanjem. Možemo se zapitati, kojim bi kodom mogli prikazati slova
naše abecede, kojih ima 27 ? Ako koristimo višeznačni kod s k = 5, broj


mogućih varijacija nula i jedinica s ponavljanjem, će biti X = 25 = 32 dok je
potrebno samo N = 27 kodnih kombinacija, pa je X > N. Ovakav višak
kombinacija omogućava sigurniji prijenos podataka.
Pouzdanost prijenosa informacija će biti to veća, što đemo imati na

raspolaganju veći broj neiskorištenih kodnih kombinacija. U navedenom

primjeru to će biti pet kombinacija (X - N = 32-27 = 5). Višak elemenata u
kodnim kombinacijama nazivamo i redundancijom koda (redundancy =


preobilje). Veća se pouzdanost postiže time, što će pri izobličenju izvjesnog

broja elemenata znaka (u kodnoj kombinaciji) biti manja vjerojatnost da se jedan


znak preobrazi u drugi, kad raspolažemo s više neiskorištenih kombinacija. Zato

korekcioni kodovi imaju višak elemenata u kodnim kombinacijama. Koeficijent


redundancije Re korekcionog koda, određuje se izrazom:

ldX
Re =
ldN


Ovdje je prema prije navedenom

- X - ukupni broj kodnih kombinacija k-značnog koda s bazom B: X = Bk ,


- N - broj kombinacija koje se koriste u prijenosu.

Poželjno je, ali ne i ekonomično, da Re bude što veći.


 U toku prijenosa izvorna informacija prolazi kroz koder i kanal veze. Na
tom se putu, dijelu komunikacijskog procesa, ulaznoj veličini "x"
superponiraju smetnje i izobličenja odnosno pridružuje niz veličina "z", te
se veličina x pretvara u primljenu veličinu "y". Mora se odlučiti kako še se



dekodirati dobiveni izlazni niz veličina y. To nazivamo "shemom
odlučivanja", a znači funkcijski određnu zavisnost varijable x o prispjeloj y.
Ta funkcija mora biti tako definirana, da šo višsmanji utjecaj smetnji. Dakle


osnovna ideja "sheme odlučvanja" ili funkcijske zavisnosti x o y je u tome,
da se "međsobno pridružju najvjerojatniji" ulazni i izlazni nizovi.
U "idealnoj shemi odlučvanja" ili ustanovljavanja pogreška, uspoređuju


se nizovi kombinacija elemenata i određje njihova razlika. Pri tome se misli
na razlike između poslane poruke x i primljene y. Ta se razlika definira kao
"udaljenost" d, a ona je zapravo funkcija x i y varijabli ili d = f(x,y). U
literaturi se navodi i kao Hammingova udaljenost binarnih nizova x i y. Radi

što sigurnijeg prijenosa informacija, nizovi se biraju tako, da njihove
međusobne Hammingove udaljenosti budu što je moguće veće.

Dakle Hammingova ili kodna udaljenost d je minimalni broj elemenata

prema kojima se, u istom kodu, razlikuje jedna kodna kombinacija od druge.
Ravnomjerni k-značni kod, npr. Međunarodni kod broj 2, koristi sve kodne
kombinacije, pa mu je vrijednost d = 1. U slučajevima kad je d > 3 moguće


su detekcije i ispravljanja pogrešaka.
Kad se pogrešno primi 1 od n elemenata, to se naziva jednostruka
pogreška i d=2. Kod pogrešnog prijema 2 elementa u nizu od n, to će biti
dvostruka pogreška. Vrijednost veličine "d" određuje otkrivanje i
ispravljanje pogrešaka prema izrazu

d ≥ 2 ip + 1 .
Ovdje "ip" predstavlja broj ispravljenih pogrešaka. Prema tom izrazu, što


će Hammondova udaljenost biti veća (a to znači i veći broj neiskorištenih

kodnih kombinacija), mogućnost ispravljanja većeg broja pogrešaka, također
će biti veća.


1.8.6. Kôd s parnim brojem jedinica



Međutim u praksi, osim spomenutih 7 elemenata, svaka kodna

kombinacija ima i 8. element. To je tzv. paritetni impuls. Potreban je za


ispravan rad izlaznih jedinica, poput štampača kod računala ili bušača kod
teleprintera. Taj impuls kontrolira ispravan rad terminalnih jedinica i


detektira pogreške u prijenosu podataka. Tako se npr. kontrolira parnost

jedinica. To znači da ako 7-bitni znak ima neparan broj jedinica (npr. 3
jedinice), kao osmi element doda mu se opet jedinica. Ili ako 7-bitna kodna


 kombinacija ima parni broj jedinica (npr. 4 jedinice) osmi, dodani element
je nula.



b1 b2 b3 b4 b5 b6 b7 b8

t
1 2 3 4 5 6 7 8


to 2 to
START 8 to STOP


Ts = 11 to
Sl.1.9. Oblik odaslanog signala slova D prema 7-bitnom ASCII kodu

Osim 8 elemenata, izlazni signal ima start i stop impulse s trajanjima

pojedinih impulsa prikazanim na slici 1.9. To je signal velikog slova D, koje

prema ASCII kodu ima slijedeće oznake: 44 (heksadecimalna) 1000100
(binarna b7,b6,b5,b4,b3,b2,b1) i 068 (decimalna). Budući da ima parni broj

jedinica, dodana je nula kao element na težinsko mjesto b8.

Zbog svoje jednostavnosti najčešće se koriste kodovi s parnim ili
neparnim brojem jedinica. Tako npr. kod s parnim brojem jedinica
omogućuje razmjerno jednostavno detektiranje primljenog niza s neparnim


brojem jedinica i otkrivanje pogreške.