Teorija informacija, ispit (teorija)

1. WIENER , utemeljitelj kibernetike, koliinu informacija susava definirao je kao mjeru njegove organiziranosti, a
neodreenost sustava kao mjeru njegove neorganiziranosti.
2. U kontinuiranom komunikacijskom kanalu signali mogu poprimiti konaan broj vrijednosti. NETONO (u
diskretnom mogu poprimiti konaan broj vrijednosti)
3. Objasnite znaenje 1 bita informacije sa stajalita teorije informacija.
Jedan bit se moe shvatiti kao koliina informacije koja je dovoljna zarjeavanje jedne elementarne
neodreenosti, odnosno izbora izmeu dvije jednako vjerojatne mogunosti.
4. Navedi svojstva entropije:

Entropija ne moe biti negativna H(X)

Ako se jedan simbol pojavi sa vjerojatnou 1, a ostali sa svjerojatnou 0, tada je H(X)=0

Entropija postie svoj maksimum kada su vjerojatnosti simbola jednako rasporeene
Mjera H za sadraj informacije mora imati svojstvo H(X,Y) = H(X) + H(Y)

5. Zatitno (sigurnosno) kodiranje vri se u KODERU KANALA.

6. Entropija uma (irelevantnost) H(Y|X) i ekvivokacija (mnogoznanost) H(X|Y) predstavljaju UVJETNE
ENTROPIJE.
7. Objasnite znaenje uzajamnog sadraja informacije I(X;Y).
Uzajamni sadraj informacije izmeu sluajnih varijabli X i Y definira se kao relativna entropija izmeu
razdiobe njihovih zdruenih vjerojatnosti i razdiobe umnoka njihovih pojedinanih vjerojatnosti.
Uzajamni sadraj informacije naziva se jo i TRANSINFORMACIJA.
Uzajamni sadraj informacije I(X;Y) mjera je koja pokazuje koliko informacija jedna sluajna varijabla
prua drugoj. To je mjera meusobne ovisnosti dviju sluajnih varijabli.
8. Koliina informacije koja se prenosi kanalom ovisi o karakteristikama kanala i karakteristikama ulaza:
a) Tono
b) Netono
9. Metode kompresije jednostavno se mogu podijeliti na METODE ENTROPIJSKOG KODIRANJA i METODE
IZVORNOG KODIRANJA, no u praksi se obino koristi HIBRIDNO KODIRANJE.
10. Izvor je nesingularan ako se njegova statistika svojstva ne mijenjaju s vremenom.NETONO (izvor je
STACIONARAN ako se njegova statistika svojstva ne mijanjaju s vremenom.)
11. EFIKASNOST KODA definira se kao omjer entropije i prosjene duljine kodne rijei.
12. Osnovne su metode entropijskog kodiranja: HUFFMANOVO KODIRANJE, ARITMETIKO KODIRANJE,
METODE RJENIKA, METODE SKRAIVANJA NIZA
13. Na kojoj pretpostavci se temelji diferencijalno (predikcijsko) kodiranje?
Diferencijalno (predikcijsko) kodiranje utemeljeno je na pretpostavci da se signal relativno malo mijenja
od uzorka do uzorka, odnosno da meu susjednim uzorcima ne postoji korelacija.
14. Princip podpojasnog kodiranja koristi koder zvuka MP3, te koder slike JPEG 2000.
15. ZATITNO (SIGURNOSNO) KODIRANJE moe se definirati kaopostupak dodjeljivanja zatitnih kodnih
rijei simbolima kodiranje poruke s ciljem njihove zatite od pogreke.

16. Kod koje skupine kodova je generiranjenekog bita u kodnoj rijei funkcija trenutanog stanja ulaza kodera, ali i
njegovih prethodnih stanja? KONVOLUCIJSKIH KODOVA
17. HAMMINGOVA UDALJENOST d(x,y) izmeu dvije kodne rijei X i Y definira se kao broj pozicija na kojima
se kodne rijei razlikuju, odnosno na kojima imaju razliite simbole.
18. SKITAL je bio jednostavna naprava za ifriranje koja je predstavljala drveni tap oko kojeg bi se namotala
vrpca od pergamenta te bi za deifriranje poruke bilo potrebnoimati tap istog promjera.