Uvod u Teoriju informacija

Program 2007. ispitna pitanja 1. (6) Pojam informacije. Signal. Osnovni (enonov) model komunikacionog sistema. 2. (6) Mera koli ine informacija. !. (") #iskretan i$vor (informacija) %e$ memorije (#M&). 'ntropija. Maksimum entropije #M&(a. ). (*) Pro+irenje diskretnog i$vora %e$ memorije. ,. (") #iskretni i$vor sa memorijom. 'rgodi nost- stacionarnost i regularnost i$vora. 6. (*) Osnovna teorema o regularnim Markovljevim i$vorima. #o%ijanje vektora verovatno.e stanja sta%ili$ovanog Markovljevog i$vora. ". (6) 'ntropija Markovljevi/ i$vora. 0e$ik kao i$vor informacija. *. (11) 2ontinualni i$vor informacija. Maksimum entropije kontinualnog i$vora informacija. #imen$ija entropije kontinualnog i$vora. 3. (6) Statisti ko (entropijsko) kodovanje. Podela kodova. 4slovi jedno$na ne dekoda%ilnosti. 11. (") Sardinas(Patersonov na in provere jedno$na ne dekoda%ilnosti. 5reme $adr+ke pri dekodovanju. 11. (6) Prva enonova teorema o kodovanju. 12. (11) Optimalni prefiksni kod $a sa6imanje podataka. 7afmanov algoritam. 1!. (3) 'lajesov (aritmeti ki) kod. 1). (*) 8lok kod $a sa6imanje (kompresiju) podataka. 5erovatno.a gu%itka informacija. 1,. (*) 9empel(:ivovi algoritmi; varijante algoritma i$ 13"". 16. (*) 9empel(:ivovi algoritmi; varijante algoritma i$ 13"*. 1". (3) Statisti ki model komunikacionog kanala. 1*. (") 'kvivokacija- irelevancija i transinformacija. 13. (*) 2apacitet diskretnog kanala. 2apacitet 8S& kanala. 21. (3) 2apacitet aditivnog kanala. 21. (11) 2apacitet kontinualnog kanala. 22. (11) 2askadna ve$a kanala. 2!. (") 5erovatno.a gre+ke prenosa informacija. M<P kriterijum. Odnos redundanse i verovatno.e gre+ke. 2). (6) #ruga enonova teorema o kodovanju. 2,. (") 'ksponent gre+ke $a+titni/ kodova. 26. (6) 4loga $a+titnog kodovanja u prenosu informacija. =a ini $a+titnog kodovanja. 5rste $a+titni/ kodova. 2". (") >relis kodovi; definicija- parametri- dijagram stanja i trelis dijagram. 2*. (3) Metrika $a optimalno dekodovanje trelis kodova. 23. (3) 5iter%ijev algoritam $a dekodovanje trelis kodova (5<); $avr+eni trelis. !1. (11) 5iter%ijev algoritam $a dekodovanje trelis kodova (5<); %eskona ni trelis. !1. (3) #opune 5< neop/odne pri prakti noj reali$aciji. 2arakteristike 5<. !2. (*) ?anoova metrika. Stek algoritam. !!. (3 ?anoova metrika. ?anoov algoritam. !). (11) Stek i ?anoov algoritam. Oso%ine sekvencijalni/ dekodera.

!,. (11) Oso%ine do%ri/ trelis kodova. 2olonsko i vrstno rastojanje koda- katastrofalni kodovi.