PITANJA I ODGOVORI IZ PREDMETA INFORMACIONA TEORIJA I KODIRANJE

1. Šta je informaciona teorija?

Informaciona teorija je široko zasnovana matematička disciplina koja se bavi izučavanjem problema
prenosa signala osnovnog opsega koji sadrži ili prenosi informacije sa jednog do drugog mjesta u
komunikacionom kanalu. Dala je svoj doprinos komunikacijama, kompjuterskoj nauci, statističkoj fizici,
vjerovatnoći i statistici.

2. Šta je informacija?

Priroda informacije može se objasniti kroz pojmovni niz podatak-informacija-znanje. Za razumijevanje

pomenutog niza potrebno je uspostavljanje veze između činjenica sa jedne strane i članova niza sa druge
strane.
Činjenice su izvorna saznanja koja se dobijaju iz procesa posmatranja, empirijskog doživljavanja,
eksperimentalnog istraživanja i teorijskog osmišljavanja određenih fenomena ili pojava koje su naučno
interesantnte ili intrigantne. Prema Ričardu Džordžu činjenice su “iskazi o svijetu kakav on jeste”. Stanje
svijeta nezavisno je od našeg znanja o njemu, te se činjenice ne mogu lično posjedovati i dostupne su
svima kojima su potrebne.
Podatak je kodirana činjenica ondosno njegova egzistencija počinje u trenutku kada su činjenice
registrovane ili zabilježene određenim jezičkim simbolima. Podaci za razliku od činjenica mogu imati
vlasnika, tj pripadaju onome kome pripada medij na kome su zabilježeni.
Informacija je podatak kome je pridruženo vrijednosno značenje. Nastaje u procesu obrade podataka
u kome se atributivno značenje podatka transformiše u vrijednosno značenje informacije. Vrijednost
informacije može se iskazati uređenom trojkom ( vrijeme, sadržaj, forma) gdje svaki član pomenute trojke
atribut koji predstavlja dimenziju informacionog kvaltieta. Dimenziju vremenskog kvaliteta karakterišu
vrijednosni atributi: tačnost, upotrebljivost, dostupnost i aktuelnost informacije. U dimenziji kvaliteta
sadržaja vrijednosni atributi su : preciznost, relevantnost, konciznost, obim i performance informacije.
Vrijednosni atributi koji karakterišu dimenziju kvaliteta forme su: jasnoća ili razumljivost, cjelovitost ili
detalji u skraćenoj formi, tekstualnost i transmitivnost ili skladištenje informacija na mediju.
Znanje je resurs svojstven samo ljudima koji se manifestuje kroz ljudsku interpretaciju I procesiranje.
Zasniva se na informacionoj bazi, ali se ne može odvojiti od konveracija, odnosa I emocionalnog polja iz
koga se pojavljuje ili transformiše u novo znanje. Predstavlja integraciju informacione baze, pravila
zaključivanja i prethodnog iskustva subjekta saznanja kome pripada znanje. Uključivanjem novih
informacija u bazu znanja , znanje se transformiše u novo znanje koje se nalazi na višem nivou u odnosu
na pretnhodno. Dakle , informacija predstavlja inkrement znanja.

Podatak Informacija Znanje

Temperatura je 30℃. Danas je u Beogradu Danas je u Beogradu
temperatura vazduha 30℃. temperatura vazduha 30℃ pa
ljudi nose ljetnju garderobu.

3. Šta je komunikacija?

Komunikacija je proces razmjene informacione, fizičke ( materijalne I energetske) i socijalne strukture

(poruka) u interakcijama koje se izvode sa mentalnim, verbalnim, neverbalnim, tehnološkim i
kombinovanim modelima, na intrapersonalnom, interpersonalnom, organizacionom i tehnološkom nivou
u odgovarajućem kontekstu. ( M. Banjnin 1999.)

4. Šta je poruka?

Poruka-esencijalni elemenat komunikacije, konkretan fizički proizvod kodiranja informacije od strane

pošiljaoca koji ima dvije dimenzije: displej i interpretaciju. Displej je pokazno-sadržajna dimenzija poruke,
odnosno obrada poruke na sadržajnom nivou. Interpretacija predstavlja obradu poruke na relacionom
nivou. Interpretacija je proses pripisivanja značenja i davanja smisla displeju poruke. Smisao samoj poruci
daje primalac.

5. Koji su elementi komunikacije uključeni u osnovni model komunikacija?

 Signal – fizički nosilac informacije

 Izvor informacije
 Koder koji najprije informaciji dodjeljuje niz simbola a zatim kodiranu informaciju transformiše u
signal prilagođen za prenos kroz komunikacioni kanal, odnosno koder kodira informaciju u poruku
 Komunikacioni kanal predstavlja fizički prostor kroz koji se prenose signali
 Dekoder koji prihvata signal i dekodira ga u niz simbola a zatim tom nizu pridružuje zančenje koje
ima vrijednost za primaoca
 Primalac koji daje smisao poruci

6. Da li se informacija može mjeriti?

Kako informacija , pored vrijednosnog značenja, obuhvata i podatak, te stoga zauzima određen fizički
prostor na mediju na kojem je zabilježen podatak, može se zaključiti da informacija predstavlja fizičku
veličinu koja se može izmjeriti.

7. Od čega zavisi količina informacije u nekom događaju?

Količina informacije u nekom događaju zavisi isključivo od vjerovatnoće p tog događaja. Količina
informacije obrnuto je srazmjerna vjerovatnoći, odnosno što je događaj manje vjerovatan to je količina
informacije koju on sadrži veća. Na primjer, snijeg na Arktiku ne predstavlja informaciju visoke vrijednosti
jer je očekivano (velika je vjerovatnoća) da snijeg padne zbog klimatskih uslova koji vladaju na Arktiku,
dok bi snijeg u prašumama Amazona predstavljao veoma značajan događaj (mala je vjerovatnoća).

8. Šta je mjera informacije?

Osnovni polazni pojam u teoriji vjerovatnoće je neprazan skup S koji se naziva skup elementarnih
događaja. On predstavlja skup svih mogućih ishoda jednog vjerovatnosnog eksperimenta. Elementi skupa
S nazivaju se elementarni događaji. Događaj A je podskup skupa S. Sadrži elementarne događaje koji imaju
svojstvo kojim se A definiše.

Claude Shannon je informacije modelirao kao elementarne događaje sk koji se pojavljuju uz određene
vjerovatnoće pk. Mjera informacije je funkcija I : S → R gdje je S ={s1,s2,…,sk} skup elementarnih događaja
čije su vjerovatnoće redom p1,p2,…,pk i za koje važi 0 ≤ pi ≤1, ∑𝑘𝑖=1 𝑝i = 1, a R je skup realnih brojeva.
Funkcija mora da zadovoljava sledeće uslove:

 I je kontinualna funkcija. Kontinuitet predstavlja poželjan kvalitet fizičkih veličina koji obezbjeđuje
da uslijed veoma male promjene vjerovatnoće nekog događaja količina informacije koju sadrži taj
događaj se mijenja samo u maloj mjeri,
 I je aditivna funkcija tj. važi I(sm,sn) = I(sm) + I(sn). Aditivnost se objašnjava tako da količina
informacija koju nose dva nezavisna događaja zajedno predstavlja zbir informacija koju nose
događaji pojedinačno

1
Funkcija I(sk) = log2(𝑝 ) zadovoljava tražene uslove gdje je sk elementarni događaj čija je vjerovatnoća pk.
𝑘
Logaritamska funkcija je kontinualna pa je kontinualna i funkcija I. Ako su sm i sn dva nezavisna događaja
čije su vjerovatnoće, respektivno, pm i pn tada je vjerovatnoća da će se realizovati oba događaja pmpn. Dakle
važi:

1 1 1
I(sm,sn) = log2(𝑝 ) = log2(𝑝 ) + log2(𝑝 ) = I(sm) + I(sn) tj. I je aditivna funkcija.
𝑚 𝑝𝑛 𝑚 𝑛
Upravo ovako definisana funkcija I predstavlja mjeru količine informacije.

9. Navesti svojstva količine informacije!

 Svojstvo simetričnosti

I(sm) = 0 za pm = 1 tj. ako smo potpuno sigurni u ishod nekog događaja i prije nego što se on dogodi
onda nema dobijene informacije.

 Svojstvo nenegativnosti
I(sm) ≥ 0 za 0 ≤ pm ≤ 1, odnosno realizacija događaja daje malu količinu ili uopšte ne daje
informaciju, ali nikada ne dovodi do gubitka informacija,

 Svojstvo inverznosti sa vjerovatnoćom

I(sm) ≥ I(sn) za pm≤ pn , što je manja vjerovatnoća događaja dobija se informacija veće vrijednosti

10. Šta je bit?

 Bit je jedinica mjere količine informacije. Bit je količina informacije koja se dobija kad se desi jedan
od dva moguća i jednako vjerovatna događaja. Na primjer eksperiment sa bacanjem novčića. Moguće
je da nakon bacanja padne glava ili pismo i oba ishoda imaju vjerovatnoću 0.5. Količina informacije
1
koju nosi biIo koji od dva pomenuta događaja je I = log2 0.5 = 1bit.

11. Šta je informaciona entropija?

Neka situacija je označena kao neodređenost ako postoji više mogućnosti, pri čemu nije poznato koja
od njih će biti realizovana ili izabrana. Entropija je prirodna težnja ka stanju najveće vjerovatnoće tj. težnja
ka haosu. Predstavlja mjeru neodređenosti H. Posmatrajmo izlaz kojeg emituje diskretni izvor tokom svake
jedinice vremena. Izvorni izlaz je modeliran kao slučajna promjenljiva diskretnog tipa S koja preuzima
1
oblike simbola iz utvrđenog konačnog alfabeta S = {s1,s2,…,sk} čije su vjerovatnoće jednake tj pi = .
𝑘
Očigledno je da entropija zavisi od broja elemenata skupa S, te se onda za mjeru neodređenosti može
uzeti kardilnalnost skupa S tj. H(S) =k. Međutim jedan drugi pristup pokazao se djelotvornijim. Neka se
postavljanjem pitanja koja se mogu odgovoriti sa da ili ne utvrđuje koji će simbol emitovati izvor.
Pretpostavimo da je k= 2n. Neka se skup S podijeli na dva skupa {s1,s2,…,s2n-1} i { s2n-1+1 ,…, s2n}. Pitanjem
da li će se emitovati simbol koji se nalazi u prvom skupu smanjuje se mogućnost izbora na pola. Ukoliko je
odgovor potvrdan tada se vrši podjela prvog skupa u suprotnom se dijeli drugi skup. Na slici 1 je prikazano
binarno stablo koje prikazuje opisani postupak određivanja simbola koji će se emitovati, gdje je sa 0
označen odričan a sa 1 potvrdan odgovor.

Kardinalnost polaznog skupa je k = 2n . Na svakom sledećem nivou stabla broj elemenata u skupovima je
𝑘 𝑘
dvostruko manji. Na prvom nivou su skupovi čija je kardinalnost 2 , na drugom su skupovi kardinalnosti 22
𝑘
, … na h-om nivou su skupovi kardinalnosti 2ℎ
. U poslednjem nivou nalaze se skupovi koji sadrže samo
𝑘
jedan elemenat. Neka je H visina stabla, skupovi koji su na dnu stabla imaju 2𝐻
elemenata, tj važi :
 𝑘
= 1 ⟹ H = log2k = n < k.
2𝐻

H nije samo visina stabla nego i broj grana kojim se dolazi do simbola koji će se emitovati na izlazu
diskretnog izvora. Odnosno H predstavlja broj pitanja, čiji je odgovor da ili ne, kojim se određuje simbol
na izlazu. Veličina H se može uzeti za mjeru neodređenosti.

12. Kako se računa entropija ako kardinalnost k skupa S nije stepen broja 2?

Može se primjeniti ista šema postavljanja pitanja, s tom razlikom što će neki genrisani skupovi imati
neparan broj elemenata 2r+1 pa će njihova podjela na dva dijela rezultirati podskupovima različite
kardinalnosti r i r+1. U tom slučaju važi 2n ≤ k < 2n+1 , te se može izbaciti neki konačan broj elemenata
skupa S i njihov broj redukovati na 2n , ili se mogu dodati neki elementi u cilju dobijanja broja 2n+1. U prvom
slučaju potrebno je n pitanja , a u drugom n+1 da bi se došlo do tačnog odgovora. Stoga se vrijednost
entropije nalazi u intervalu [n,n+1), pa se opet može uzeti da je H(S) = log2k.

13. Kolika je entropija ako se na pitanja može odgovoriti sa m >2 odgovora?

U tom slučaju svako pitanje vrši podjelu skupa od k elemenata na m disjunktnih podskupova kardinalosti
𝑘
približno 𝑚. Ako je k stepen broja m tada je potrebno tačno logmk pitanja da bi se došlo do tačnog
odgovora.

log 𝑘
logmk = log 2 𝑚 = logm2 * log2k ⟹ da promjena baze logaritma nije od suštinskog značaja jer se time samo
2
mijenja jedinica mjere.

14. Navesti druge jedinice mjere za količinu informacije!

Jedinice mjere količine informacije zavise od baze logaritma. Ako je baza logaritma 10 tada se količina
informacije izražava u Hartley-ima , a ako je prirodni logaritam onda je jedinica mjere nat ( natural unit)

15. Šta je vjerovatnosni sistem izbora?

Neka je S= {s1,s2,…,sk} skup elementarnih događaja a P ={p1,p2,…,pk } skup vjerovatnoća nad S koji
zadovoljava uslov 0 ≤ pi ≤1, ∑𝑘𝑖=1 𝑝i = 1 , tada se par (S,P) naziva vjerovatnosni sistem izbora. Svaki skup E
za koji važi E⊆ S naziva se događaj i njegova vjerovatnoća iznosi ∑𝑝𝑖∈𝐸 𝑝𝑖 .

16. Kolika je entropija u vjerovatnosnom sistemu izbora?

Može se pristupiti na isti način postavljanjem niza pitanja koja se odgovaraju sa da ili ne. Međutim
sada bi podjela na skupove jednakih kardinalnosti bila neoptimalna strategija jer njome se ne obuhvataju
vjerovatnoće sa kojima se raspolaže. Pretpostavimo npr. da je neka mogućnost s1 mnogo vjerovatnija od
drugih. Logično je prvo pitati da li se realizovala ta mogućnost jer sa velikom vjerovatnoćom postoji šansa
da smo pogodili samo na osnovu jednog pitanja. Princip određivanja entropije u vjerovatnosnom sistemu
izbora zasniva se na podjeli na skupove ne jednake kardinalnosti već jednakih vjerovatnoća. Entropija u
tom sistemu aproksimativno iznosi -∑𝑘𝑖=1 𝑝𝑖 𝑙𝑜𝑔2 𝑝𝑖 .
17. Koliko iznosi maksimalna entropija tražena po svim rapodjelama vjerovatnoća u vjerovatnosnom
sistemu izbora?

Neka su p1, p2, …, pk i q1, q2, …, qk dvije raspodjele vjerovatnoća nad skupom S= {s1,s2,…,sk}. Tada važi:

𝑘 𝑘 𝑘 𝑘 𝑘
𝑞𝑖 𝑞𝑖 𝑞𝑖
∑ 𝑝𝑖 𝑙𝑜𝑔2 = 𝑙𝑜𝑔2 𝑒 ∑ 𝑝𝑖 𝑙𝑛 ≤ 𝑙𝑜𝑔2 𝑒 ∑ 𝑝𝑖 ( − 1) = 𝑙𝑜𝑔2 𝑒 ∗ (∑ 𝑞𝑖 − ∑ 𝑝𝑖 ) = 𝑙𝑜𝑔2 𝑒 ∗ (1 − 1) = 0
𝑝𝑖 𝑝𝑖 𝑝𝑖
𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1

𝑞𝑖
U ovom razmatranju korištena je poznata nejednakost lnx ≤ x-1 za x ≥ 0, gdje je za x uzeto 𝑝𝑖
. Dalje
imamo:
𝑘 𝑘 𝑘
𝑞𝑖
∑ 𝑝𝑖 𝑙𝑜𝑔2 = ∑ 𝑝𝑖 𝑙𝑜𝑔2 𝑞𝑖 − ∑ 𝑝𝑖 𝑙𝑜𝑔2 𝑝𝑖 ≤ 0
𝑝𝑖
𝑖=1 𝑖=1 𝑖=1

Neka je vjerovatnoća svakog elementarnog događaja iz skupa S jednaka, tada entropija iznosi log2k.

1
H(P) – log2k = − ∑𝑘𝑖=1 𝑝𝑖 𝑙𝑜𝑔2 𝑝𝑖 + ∑𝑘𝑖=1 𝑝𝑖 𝑙𝑜𝑔2 𝑘 ≤ 0

Odakle slijedi da je H(P) ≤ log2k. Odnosno entropija vjerovatnosnog sistema izbora sa proizvoljnom
raspodjelom vjerovatnoće elemenata skupa S ograničena je na H(P) ≤ log2k.

18. Navesti svojstva entropije!

 Ako su ( S1, P1) i ( S2, P2) dva vjerovatnosna sistema izbora za koje važi da skupovi S1 i S2 imaju isti
broj elemenata i da je P1 = P2 , tada važi H(P1) = H(P2), tj. entropija ne zavisi od prirode elemenata
skupa S već samo od vjerovatnoće koju imaju ti elementi.

 Važi H(p1,p2,…,pk) = H(p1,p2,…,pk, 0), tj. elementarni događaji čija je vjerovatnoća 0 ne utiču na
ukupnu količinu neodređenosti

 H(P) = 0 samo ako jedan od elementarnih događaja ima vjerovatnoću 1 a svi ostali 0, odnosno
nema neuređenosti ako se zna sa sigurnošću koji će se događaj realizovati

19. Kako količina informacije utiče na entropiju?

Neka se sa diskretnog nememorijskog izvora emituju simboli iz skupa S= {s1,s2,…,sk} čija je raspodjela
vjerovatnoća P = {p1,p2,…,pk }. Entropija prije emitovanja simbola iznosi H(s). Emitovanje simbola nosi neku
količinu informacije I(si) koja nakon emitovanja uklanja stanje neodređenosti odnosno entropija se
redukuje na vrijednost 0. Dakle količina informacije predstavlja razliku entropije prije i poslije emitovanja
simbola. I(si) = H(s)-0 = H(s). Može se zaključiti da entropija predstavlja količinu prosječnog sadržaja
informacije po simbolu emitovanog iz izvora.