Teorija informacije

Uvod

doc. dr. sc. Irena Gali

irena.galic@etfos.hr
 Teorija informacije
Matematika teorija, temeljena na statistici i teoriji
vjerojatnosti, koja se bavi komunikacijom, tj.
prijenosom informacije od izvora do odredita i to:
to bre;
to tonije;
uz to manji utroak energije;
uz prikrivanje i zatitu od zlouporabe.

TI Osnovni pojmovi teorije informacije 2

 Teorija informacije
Postavlja model komunikacijskog sustava
Izvor, predajnik, kanal+smetnje, prijemnik, odredite.
Daje mjeru za sadraj informacije
Koliina informacije u nekoj izvorinoj poruci, tj. koliina
informacije koju u prosjeku sadri svaki simbol poruke.
Postavlja minimalni broj simbola potreban za
izraavanje nekog sadraja informacije (granica
kompresije bez gubitaka)
Postavlja granice na koliinu informacije koja se moe
prenositi komunikacijskim kanalom u jedinici vremena
Kapacitet kanala [bit/s].

TI Osnovni pojmovi teorije informacije 3

 Teme kolegija Teorija informacije
Osnovni pojmovi teorije informacije
Komunikacijski kanali u kontinuiranom vremenu
Entropijsko kodiranje
Sigurnosno kodiranje (otkrivanje/ispravljanje pogreaka)
Izvorno kodiranje
Informacijska svojstva i kodiranje medija (uvod)

TI Osnovni pojmovi teorije informacije 4

 Osnovni pojmovi teorije informacije
Definicija komunikacijskog sustava
Diskretni informacijski sustav
Sadraj informacije, entropija
Uzajamni sadraj informacije
Kapacitet diskretnog kanala

TI Osnovni pojmovi teorije informacije 5

 Komunikacijski kanali u kontinuiranom
vremenu
Obiljeja signala na ulazu i izlazu kanala
Snaga i energija; uzorkovanje signala; kvantizacija uzoraka
Modeliranje kanala linearnim vremenski
nepromjenjivim sustavom
Odreivanje irine prijenosnog pojasa kanala
Kapacitet kanala u kontinuiranom vremenu
Prilagoenje pojasno ogranienim kanalima

TI Osnovni pojmovi teorije informacije 6

 Entropijsko kodiranje
Koder informacije kompresija
Osnove kompresije, podjela na entropijsko, izvorno i
hibridno kodiranje
Karakteristike izvora informacije, vrste kodova
Metode entropijskog kodiranja
Shannon-Fanoovo, Huffmanovo, aritmetiko kodiranje,
metode rjenika i metode skraivanja niza

TI Osnovni pojmovi teorije informacije 7

 Izvorno kodiranje
Analogni mediji u digitalnom kom. sustavu
Principi kompresije pri izvornom kodiranju
Koriste se karakteristike izvora i ljudskih osjetila
Metode izvornog kodiranja
Kvantizacija, poduzorkovanje, transformacijsko kodiranje,
diferencijalno (predikcijsko) kodiranje, potpojasno
kodiranje i kodiranje zasnovano na modelu

TI Osnovni pojmovi teorije informacije 8

 Informacijska svojstva i kodiranje
medija
Jezik (tekst), zvuk, nepomina slika i video
Hibridno kodiranje (izvorno + entropijsko)
Uvod u najosnovnije principe i metode kompresije
Malo vie detalja u predmetu Viemedijske
komunikacije

TI Osnovni pojmovi teorije informacije 9

 Literatura
Preporuena literatura:
Roi, N.: Informacije i komunikacije: kodiranje s primjenama, Zagreb, 1992.
Matkovi, V. Sinkovi, V. Teorija informacije. kolska knjiga, Zagreb,1989.
Pandi, I.S. Baant, A. Ili, . Vrdoljak, Z. Kos, M. Sinkovi, V. Uvod u teoriju
informacije i kodiranje. Element, 2007. (ISBN 978-953-197-605-3)
Dopunska literatura
Sinkovi, V. Informacija, simbolika i semantika. kolska knjiga, Zagreb, 1997.
MacKay, D.J.C. Information Theory Inference, and Learning Algorithms.
Cambridge University Press 2003. (dostupno na
http://www.inference.phy.cam.ac.uk/mackay/itila/)
Reza, F.M. An Introduction to Information Theory. McGraw-Hill, New York
1961.
Hamming, R.W. Coding and Information Theory. Prentice-Hall. New Jersey
1980.
Ash R.B. Information Theory. Dover Publ. Inc. New York. 1990.

TI Osnovni pojmovi teorije informacije 10