teorija informacija

teorija informacija, znanstvena disciplina zasnovana na matematičkoj teoriji vjerojatnosti i

statistici, koja se bavi brojčanim određivanjem količine informacija u sustavima. Razvila se zbog
potrebe pronalaženja ograničenja u sažimanju podataka, te povećanja pouzdanosti komunikacije
i prijenosa podataka među sustavima. Počiva na pretpostavci da je informacijski sadržaj
(informativnost) u bilo kojoj poruci mjerljiva matematička veličina. Pritom se pojam sadržaja ne
odnosi na razumijevanje poruke, nego na vjerojatnost da će upravo određena poruka biti
primljena između cijeloga niza postojećih.

Začetnikom teorije informacija smatra se C. E. Shannon, koji je osnovne postavke dao 1948. u
članku Matematička teorija komunikacija (A Mathematical Theory of Communications), a teoriju
informacija kao matematičku teoriju dalje razradio s američkim matematičarom Norbertom
Wienerom (1894–1964). Prema njima su osnovne informacijske veličine entropija i informacija,
a mjerenje količine informacija izvodi se izračunavanjem njihove entropije. Entropija predstavlja
prirodnu težnju nekoga sustava da dođe u stanje potpunoga kaosa, kao posljedica njegove
potpune neorganiziranosti. Suprotno od entropije, informacija je mjera za red (organiziranost)
sustava, tj. nešto što ukida ili smanjuje neodređenost sustava, odnosno smanjuje neizvjesnost
promjena. Entropiju je Shannon opisao kao matematičku funkciju koja se zasniva na količini
informacija, a brojčano određuje neizvjesnost sustava, tj. nedostatak informacija o njegovu
stanju. Teorija informacija danas se primjenjuje u različitim znanstvenim područjima, npr.
lingvistici, komunikacijskim mrežama, biologiji, medicini, ekonomiji, bioinformatici i dr.