TEORIJA INFORMACIJA-PRIMERI ISPITNIH ZADATAKA

1. Kako se, na osnovu opte teorije informacija, moe definisati INFORMACIJA?

I = (O,P,S,K) O objekat (predmet) informacije, P prenosnik informacije, S
semanticka interpretacija (znaenje), K koliina informacije.
2. Objasniti paradoks osnovne teorije informacija?

Paradoks teorije informacija lei u injenici da OEKIVANA PORUKA ili dogaaj nosi
MALU KOLIINU INFORMACIJA (budui da je njen uticaj na budua ponaanja mali)
u odnosu na NEOEKIVANU PORUKU ili dogaaj koji, u optem sluaju, uzrokuje
dramatine promene u buduem ponaanju.
3. Definisati KOLIINU INFORMACIJE sa aspekta opte (Shannon-ove) teorije
informacija,
Shannon je informacije modelirao kao dogaaje (s
k
) koji se pojavljuju iz onfpormacionog
izvora uz odreene verovatnoe (p
k
). Koliinu informacije dobijene nakon posmatranja
dogaaja s
k
, koji se pojavljuje uz verovatnou p
k
, definiemo logaritamskom funkcijom


k 2
k
2 k
p log
p
1
log ) s ( I =
|
|
.
|

\
|
=
Koliina informacije (I ) u nekom dogaaju x treba da zavisi samo od njene verovatnoe
p.
Za razumevanje koliine informacije potrebno je objanjenje odnosa izmeu tri
koncepta: NEIZVESNOST, INFORMACIJA, ENTROPIJA
dogaaj S=s
k
opisuje emisiju
simbola s
k
od strane
izvora
uz verovatnou p
k
ako je verovatnoa p
k
=1
i p
i
=0 za svaki ik,
ne postoji iznenaenje, i
stoga nema informacije
ako se simboli iz izvora
pojavljuju uz razliite
verovatnoe, a verovatnoa
p
k
je mala,
postoji vie iznenaenja, pa
postoji i informacija,
NEIZVESNOST
INFORMACIJA
IZNENAENJE
Pre nego to se desi
dogaaj S=s
k
, postoji
porast u koliini
iznenaenja.
Nakon deavanja
S=sk, dolazi do
porasta u koliini
informacije, iju
sutinu moemo
da posmatramo
kao reenje
neizvesnosti.
Koliina informacije
je povezana sa
inverzijom
verovatnoe
pojavljivanja.

Informacija odredjuje smanjenje stepena neodredjenosti ili neizvesnosti (entropije).
ENTROPIJA je srednja mera neizvesnosti sistema ili izvora, odnosno ona je predvidivost
ponaanja izvora informacija. Drugim reima, saznanje o stanju sistema donosi onoliku
koliinu informacije kolika je bila neodreenost tj. koliko je bilo nepoznavanje stanja
sistema. Mera prvobitne neodreenosti je entropija. Ona je mera nedostatka informacije
o stanju sistema.
4. Objasniti tri (3K) oblika interaktivne saradnje sistema ili entitteta
(partnera)
- Kooperacija (cooperation) predstavlja dogovorni vid saradnje partnera sa vezama
slabijeg intenziteta i neformalnim odnosima u kraem vremenskom roku (trajanju). U
ovom obliku saradnje meu partnerima nema podele resursa niti ovlaenja .
- Koordinacija (coordination) podrazumeva neto formalniji odnos, vremenski plan i
podelu uloga sa vezama srednjeg intenziteta. Ona otvara puteve za efektivnu
komunikaciju gde svako zadrava svoja ovlatenja a sredstva i zasluge se dele.
- Kolaboraciju (collaboration) karakterie simetrina komunikacija na svim nivoima
sa trajnim odnosom i vezama jakog intenziteta. Svaka strana ulae svoje resurse i ugled,
tj. partneri zajedniki ulau i dele a raspodela moi (uticaja) moe biti nejednaka.
Za kolaboraciju je potrebno izgraditi novu strukturu, odrediti zajedniku misiju i
omoguiti potpuno ukljuivanje u svakoj fazi odluivanja.
5.