FAKULTET ELEKTROTEHNIKE, RAČUNARSTVA I

INFORMACIJSKIH TEHNOLOGIJA
Zavod za komunikacije
Teorija informacije
Laboratorijska vježba broj 2

Ime i prezime studenta: Broj indeksa: Datum: Pregledao:

Diskretni informacijski sustavi

Zadatak ove vježbe je pomoću Matlab-a izračunati entropiju skupa događaja te grafički
prikazati ovisnost entropije o vjerojatnosti nekog događaja.

Informaciju primamo ako saznamo za događaj čiji nastup nije bio unaprijed određen.
Određenost nastupa nekog događaja se može mjeriti njegovom vjerojatnošću. Što je događaj
vjerojatniji, to ćemo manje informacije primiti nakon što se on dogodi.

Veći dio informacija kojima se koristimo izražava se nekim «jezikom» kojem vladaju
određene statističke zakonitosti. Razmotrit ćemo jednostavniji slučaj, gdje se informacije
izražavaju pomoću n simbola xi, čije su relativne frekvencije pojavljivanja međusobno nezavisne
i u potpunosti se određuju apriornim vjerojatnostima p(xi). Skup svih simbola je potpun iz čega
proizlazi relacija:

∑ p( x i)=1
i=1

(1)

Budući da ćemo promatrati realne sustave, sastavljene od realnih blokova, zbog toga ćemo
morati uzeti u obzir djelovanje smetnji i slučajnih izobličenja. Zbog toga simboli xi i yj neće biti
pridruženi jednoznačno, tj. Isti simbol xi može prijeći u različite simbole yj, i obrnuto, yj može
biti rezultat različitih predanih simbola xi. Prema tome, možemo govoriti o vjerojatnostima
istovremene pojave parova (xi, yj), tj o združenim vjerojatnostima p(xi, yj) pojave simbola yj na
izlazu i simbola xi na ulazu. Prema teoremu o množenju vjerojatnosti, možemo napisati:

p( x i , y j)=p ( x i ) p( y j /x i )= p ( y j ) p(x i / y j ) (2)

ako je poznat fizikalni mehanizam transformacije simbola x i u simbol y j, mogu se izračunati

uvjetne vjerojatnosti p( x i / y j )da će se na izlazu promatranog bloka pojaviti simbol y jako je

Teorija informacije, Laboratorijska vježba br.2 1

poznato da je na ulazu predan simbol x i. Samim time će se moći odrediti vjerojatnosti p ( x i , y j )
ako su apriorne vjerojatnosti p ( x i) poznate. Prema tome možemo vjerojatnosti p ( x i , y j ) smatrati
zadanima. Za tako definirane skupove simbola vrijede relacije:

m
p ( x i )=∑ p( x i, y j) (3)
j=1

n
p ( y j )=∑ p ( x i , y j ) (4)
i=1

n m

∑ p( x i)=¿ ∑ p ( yj)=1 ¿
i=1 j =1
(5)

Aposteriornu vjerojatnost možemo izraziti koristeći se prethodnim relacijama:

p( xi , y j)
p( x i / y j )=
p(x i, y j)
p ( y ¿¿ j)= m ¿ (6)
∑ p ( x i , y j)
i=1

Uzajamni sadržaj informacije možemo definirati kao logaritam odnosa aposteriorne vjerojatnosti
p( x i / y j )i apriorne vjerojatnosti p ( x i ) :

p( x i / y j )
I ( x i ; y j ) =log (7)
p( x i)

Izborom baze logaritma određena je jedinica sadržaja informacije. Sa stajališta tehnike

najprikladnija je primjena logaritma sa bazom 2 prema čemu je jedinica za sadržaj informacije I
binarna jedinica ili kraće bit (engl. binary digit). Uzajamni sadržaj se još može izračunati i
ovako:

Teorija informacije, Laboratorijska vježba br.2 2

Srednji vlastiti sadržaj informacije I(X) je onaj iznos informacije koji je u prosjeku potreban da
se odredi bilo koja pojedinačna vijest iz skupa X mogućih vijesti što se predaju nekim sustavom.
Veličinu I(X) obično nazivamo entropijom diskretne slučajne veličine X te je označavamo sa
H(X).

IZRADA VJEŽBE

1. Napisati program «entropija1.m» u Matlab-u te nacrtati dobivenu sliku.

2. Izračunati entropiju izvora zadanog skupom od četiri događaja s vjerojatnostima:

p(1)=0.2, p(2)=0.3, p(4)=0.1

te korištene naredbe snimiti kao program «entropija2.m» te ga upisati u za to

predviđen prostor.
3. Izračunati vjerojatnost pojave događaja yj («vjerojatnost.m») ako je poznato:

p(x1)=0.3, p(x2)=0.7

p(yj / xi) y1 y2 y3
x1 1/25 20/25 4/25
x2 20/25 2/25 3/25
Tablica 1: Uvjetne vjerojatnosti

Teorija informacije, Laboratorijska vježba br.2 3

clear;
p=0:0.01:1;
h=-(p.*log2(p)+(1-p).*log2(1-p));
plot(p,h);

Program «entropija1.m» Slika entropija1

Program „entropija2.m“ Program „vjerojatnost.m“

Teorija informacije, Laboratorijska vježba br.2 4