Teorija informacije

Uvod
Teorija informacije? (1 / 2)

♦ Matematička teorija, temeljena na statistici i teoriji vjerojatnosti,

koja se bavi komunikacijom, tj. prijenosom informacije od
izvora do odredišta i to:

što brže;

što točnije;

uz što manji utrošak energije;

uz prikrivanje i zaštitu od zlouporabe.

IZVOR PREDAJNIK KANAL PRIJEMNIK ODREDIŠTE

SMETNJE

KOMUNIKACIJSKI
SUSTAV

Teorija informacije / Uvod 2

Teorija informacije? (2 / 2)

♦ Postavlja model komunikacijskog sustava

Izvor, predajnik, kanal+smetnje, prijemnik, odredište.
♦ Daje mjeru za sadržaj informacije

Količina informacije u nekoj izvorišnoj poruci, tj. količina
informacije koju u prosjeku sadrži svaki simbol poruke.
♦ Postavlja minimalni broj simbola potreban za izražavanje
nekog sadržaja informacije (granica kompresije bez
gubitaka)
♦ Postavlja granice na količinu informacije koja se može
prenositi komunikacijskim kanalom u jedinici vremena

Kapacitet kanala [bit/s].

Teorija informacije / Uvod 3

Teme kolegija Teorija informacije

♦ Osnovni pojmovi teorije informacije

♦ Entropijsko kodiranje
♦ Sigurnosno kodiranje (otkrivanje/ispravljanje pogrešaka)
♦ Komunikacijski kanali u kontinuiranom vremenu
♦ Izvorno kodiranje
♦ Informacijska svojstva i kodiranje medija (uvod)
PREDAJNIK PRIJAMNIK
KODER DEKODER
IZVOR KODER KANAL DEKODER ODREDIŠTE
INFOR- INFOR-
KANALA KANALA MACIJE
MACIJE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Teorija informacije / Uvod 4

Osnovni pojmovi teorije informacije

♦ Definicija komunikacijskog sustava

♦ Diskretni informacijski sustav
♦ Sadržaj informacije, entropija
♦ Uzajamni sadržaj informacije
♦ Kapacitet diskretnog kanala

DISKRETNI INFORMACIJSKI
IZVOR SUSTAV ODREDIŠTE

SMETNJE

KOMUNIKACIJSKI SUSTAV

Teorija informacije / Uvod 5

Entropijsko kodiranje

♦ Koder informacije – kompresija

♦ Osnove kompresije, podjela na entropijsko,
izvorno i hibridno kodiranje
♦ Karakteristike izvora informacije, vrste kodova
♦ Metode entropijskog kodiranja

Shannon-Fanoovo, Huffmanovo, aritmetičko kodiranje,
metode rječnika i metode skraćivanja niza
PREDAJNIK PRIJAMNIK
KODER DEKODER
IZVOR KODER KANAL DEKODER ODREDIŠTE
INFOR- INFOR-
KANALA KANALA MACIJE
MACIJE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Teorija informacije / Uvod 6

Zaštitno kodiranje (otkrivanje/ispravljanje pogrešaka)

♦ Otkrivanje i/ili ispravljanje pogrešaka nastalih u

prijenosu poruka kanalom
♦ Temeljni pojmovi važni za zaštitno kodiranje

Hammingova udaljenost, najveći broj ostvarivih kodnih
riječi, perfektni kodovi i ekvivalencija kodova
♦ Metode zaštitnog kodiranja

Linearni blok kodovi, Hammingovi, ciklički, BCH,
konvolucijski i turbo kodovi
PREDAJNIK PRIJAMNIK
KODER DEKODER
IZVOR KODER KANAL DEKODER ODREDIŠTE
INFOR- INFOR-
KANALA KANALA MACIJE
MACIJE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Teorija informacije / Uvod 7

Komunikacijski kanali u kontinuiranom
vremenu

♦ Obilježja signala na ulazu i izlazu kanala

Snaga i energija; uzorkovanje signala; kvantizacija uzoraka
♦ Modeliranje kanala linearnim vremenski
nepromjenjivim sustavom

Određivanje širine prijenosnog pojasa kanala
♦ Kapacitet kanala u kont. vremenu

Prilagođenje pojasno ograničenim kanalima
PREDAJNIK PRIJAMNIK
KODER DEKODER
IZVOR KODER KANAL DEKODER ODREDIŠTE
INFOR- INFOR-
KANALA KANALA MACIJE
MACIJE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Teorija informacije / Uvod 8

Izvorno kodiranje

♦ Analogni mediji u digitalnom kom. sustavu

♦ Principi kompresije pri izvornom kodiranju

Koriste se karakteristike izvora i ljudskih osjetila
♦ Metode izvornog kodiranja

Kvantizacija, poduzorkovanje, transformacijsko
kodiranje, diferencijalno (predikcijsko) kodiranje,
potpojasno kodiranje i kodiranje zasnovano na modelu
PREDAJNIK PRIJAMNIK
KODER DEKODER
IZVOR KODER KANAL DEKODER ODREDIŠTE
INFOR- INFOR-
KANALA KANALA MACIJE
MACIJE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Teorija informacije / Uvod 9

Informacijska svojstva i kodiranje medija

♦ Jezik (tekst), zvuk, nepomična slika i video

♦ Hibridno kodiranje (izvorno + entropijsko)
♦ Uvod u najosnovnije principe i metode kompresije
♦ Malo više detalja u predmetu Višemedijske
komunikacije

PREDAJNIK PRIJAMNIK
KODER DEKODER
IZVOR KODER KANAL DEKODER ODREDIŠTE
INFOR- INFOR-
KANALA KANALA MACIJE
MACIJE

SMETNJE
KOMUNIKACIJSKI SUSTAV

Teorija informacije / Uvod 10

Literatura

♦ Udžbenik za predavanja

Pandžić, I.S. Bažant, A. Ilić, Ž. Vrdoljak, Z. Kos, M. Sinković, V. Uvod
u teoriju informacije i kodiranje. Element, 2007. (ISBN 978-953-197-
605-3)
♦ Ostala preporučena literatura

Sinković, V. Informacija, simbolika i semantika. Školska knjiga,
Zagreb, 1997.

Matković, V. Sinković, V. Teorija informacije. Školska knjiga, Zagreb
1989.

Reza, F.M. An Introduction to Information Theory. McGraw-Hill, New
York 1961.

Hamming, R.W. Coding and Information Theory. Prentice-Hall. New
Jersey 1980.

MacKay, D.J.C. Information Theory Inference, and Learning
Algorithms. Cambridge University Press 2003. (dostupno na
http://www.inference.phy.cam.ac.uk/mackay/itila/)

Ash R.B. Information Theory. Dover Publ. Inc. New York. 1990.
Teorija informacije / Uvod 11