Informacije i komunikacije

Mjera informacije
4. predavanje
Informacije i komunikacije
Pregled
Mjera informacije

Sadraj informacije i kapacitet izvora

Izvor informacije

Vlastiti sadraj informacije

Srednji sadraj informacije izvora - entropija

Kapacitet izvora

Sadraj informacije sloenih izvora

Sadraj informacije zdruenih izvora

Uzajamni sadraj informacije

Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Izvor informacije
Slika: Izvor informacije

Vlastiti sadraj informacije simbola x

i
: I (x
i
)

Srednji sadraj informacije izvora, H(X)

Informacije i komunikacije
Sadraj informacije i kapacitet izvora

to je sadraj informacije neke poruke?

Shannon: Broj 0 i 1 koji je dovoljan za

prijenos te poruke
Eksperiment 1
Koliko je bitova potrebno za prijenos rezultata ekpe-
rimenta u kojem je novi baen 1000000 puta?

U svakom bacanju novia, ishod je potpuno

neizvjestan
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Eksperiment 2
Koliko je bitova potrebno za prijenos rezultata ekperi-
menta u kojem je "namjeteni" novi baen 1000000
puta? Neka su: p("P") = 0,75 i p("G") = 0,25
a. 1000000 bitova
b. > 1000000 bitova
c. < 1000000 bitova
Informacije i komunikacije
Sadraj informacije i kapacitet izvora

Izvor koji generira 8 jednako vjerojatnih

simbola, M = 8

Kodiranje m = 3 bit/simbolu
m = ld(M)

Izvor koji generira 6 jednakovjerojatnih simbola

Kodiranje: m = ld(6) = 2,59 bit/simbolu

Kako kodirati simbol s necijelim brojem bitova?

Informacije i komunikacije
Sadraj informacije i kapacitet izvora

Kodiranje sekvence koju generira izvor s M = 6

sekvenca duljine 3 simbola 216 razliitih

sekvenci 8 bitova/sekvenci 2,67
bit/simbolu

sekvenca duljine 5 simbola 7776 razliitih

sekvenci 13 bitova/sekvenci 2,6
bitova/simbolu
Informacije i komunikacije
Sadraj informacije i kapacitet izvora

Vlastiti sadraj informacije u vezi s brojem

simbola M ako je p(x
i
) = p(x
j
) i , j
I (x
i
) m = ld(M) = ld

1
M

= ld[p(x
i
)]

Sadraj informacije - neizvjesnost

Manja vjerojatnost pojave simbola vea

neodreenost vei sadraj informacije

Vea vjerojatnost pojave simbola manja

neodreenost manji sadraj informacije
Informacije i komunikacije
Sadraj informacije i kapacitet izvora

Koliki je vlastiti sadraj informacije pojedinog

simbola ako izvori generiraju simbole razliitim
vjerojatnostima?
Eksperiment 3
Promotrimo dva izvora, uz uvjet p(x
n
) = p(x

n
):

Izvor 1: X, A = {x
1
, x
2
, . . . , x
M
},
P = {p(x
1
), p(x
2
), . . . , p(x
n
), . . . , p(x
M
)}

Izvor 2: X

, A

= {x

1
, x

2
, . . . , x

M
},
P = {p(x

1
), p(x

2
), . . . , p(x

n
), . . . , p(x

M
)}
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Vlastiti sadraj informacije
I (x
i
) = ld

1
p(x
i
)

= ld[p(x
i
)]
Slika: Izvor informacije

Broj bitova potreban za kodiranje simbola x

i
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Srednji sadraj informacije I (X)
Slika: Izvor informacije

Koliko je prosjeno potrebno bitova za

kodiranje simbola koje generira izvor?
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Srednji sadraj informacije I (X)

Denicija srednje vrijenosti (matematiki)

Z =

i
z
i
p(z
i
)
f (Z) =

i
f (z
i
)p(z
i
)

Srednji sadraj informacije entropija

H(X) = I (X) =

i
p(x
i
)ld[p(x
i
)]
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Primjer, entropija binarnog izvora

Alfabet: A = {x
1
, x
2
}, P = {p(x
1
), p(x
2
)}

Neka je p(x
1
) = p, p(x
2
) = 1 p
H(p) = pld(p) (1 p)ld(1 p)
Slika: Entropija binarnog izvora
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Izvor maksimalne entropije

Izvor: X, A = {x
1
, x
2
, . . . , x
M
},
P = {p(x
1
), p(x
2
), . . . , p(x
M
)}
H
max
= max
p(x)

i =1
p(x
i
)ld[p(x
i
)]

H
max
= ld(M), p(x
i
) =
1
M
, i

Izvor informacije koji generira simbole s

jednakom vjerojatnou generira najvei srednji
sadraj informacije
Informacije i komunikacije
Sadraj informacije i kapacitet izvora

Podruje za srednji sadraj informacije

0 H(X) ld(M)
1. p(x
1
) = 1, p(x
j
) = 0, j = i H(X) = 0 -
generira se samo simbol x
1
2. p(x
i
) = p(x
j
), i , j H(X) = ld(M) - svi
simboli jednako vjerojatni
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Kapacitet izvora
C = max
p(x)
H(X)

Kapacitet izvora ne vodi rauna o vjerojatnosti

pojavljivanja simbola, ve samo o broju simbola
abecede izvora

Primjer: Kapacitet binarnog izvora,

A = {x
1
, x
2
} C = ld(2) = 1 bit/simbolu

Primjer: Kapacitet dekadskog izvora,

A = {x
1
, . . . , x
10
} C = ld(10) = 3,322
bit/simbolu
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Sadraj informacije broj odluka, M = 8
Informacije i komunikacije
Sadraj informacije i kapacitet izvora
Sadraj informacije broj odluka, M = 6
Informacije i komunikacije
Sadraj informacije sloenih izvora
Sadraj informacije zdruenih izvora

A
X
= {x
1
, . . . , x
M
x
}, A
Y
= {y
1
, . . . , y
M
y
}

Promatramo sve parove z

ij
(x
i
, y
j
)
H(Z) =

ij
p(z
ij
)ldp[p(z
ij
)]

Entropija zdruenih izvora

H(X, Y) =

ij
p(x
i
, y
j
)ld[p(x
i
, y
j
)]
Informacije i komunikacije
Sadraj informacije sloenih izvora
Specijalni sluaj, neovisni izvori:

Za neovisne izvore vrijedi: p(x, y) = p(x)p(y)

H(X, Y) = H(X) + H(Y)
Informacije i komunikacije
Sadraj informacije sloenih izvora
Specijalni sluaj, potpuno ovisni izvori:

Za potpuno zavisne izvore vrijedi:

p(x, y) = p(x) = p(y)
H(X, Y) = H(X) = H(Y)
Informacije i komunikacije
Sadraj informacije sloenih izvora
Uzajamni sadraj informacije

Koliko znamo o informaciji izvora X ako

promatramo Y i obrnuto

Ako je: p(x

i
|y
j
) = p(x
i
) I (x
i
; y
j
) = 0

Ako je: p(x

i
|y
j
) = 1 I (x
i
, y
j
) = I (x
i
)

Funkcija koja zadovoljava uvjet:

I (x
i
; y
j
) = ld

p(x
i
|y
j
)
p(x
i
)

Informacije i komunikacije
Sadraj informacije sloenih izvora
Uzajamni sadraj informacije
I (X; Y) = I (x
i
; y
j
) =

ij
p(x
i
, y
j
)ld

p(x
i
|y
j
)
p(x
i
)

I (X; Y) = H(X) + H(Y) H(X, Y)

Informacije i komunikacije