Uzajamni sadraj informacije

- iznos informacije koji jedna sluajna varijabla sadri o drugoj sluajnoj varijabli
I(X;Y) = H(X) - H(Y/X)
I(Y/X) je uzajamni sadraj informacije
Vrijedi i simetrina relacija
I(X;Y) = I(Y;X) = H(Y) - H(X/Y)
jer X govori o Y govori o X. Takoer vrijedi
I(X;Y) =H(X) + H(Y) - H(X,Y)

Vennov dijagram

Binarni simetrini kanal.

Binarni simetrini kanal (ili BSC) je najee koriten model komunikacijskog kanala u teoriji
kodiranja i teoriji informacije. Razlog je jednostavnost prijenosa informacija to nam
omoguuje laku analizu konkretnih zadataka. U ovom modelu, odailja alje jedan bit
podataka (nula ili jedan), a prijemnik prima taj isti podatak. Pretpostavka je da e prijemnik
primiti ispravan podatak, ali postoji vjerojatnost da se podatak prenese i krivo.
BSC je binarni kanal, to jest, moe prenositi samo jedan od dva simbola (obino se naziva 0 i
1). (Ne-binarni kanal e biti sposoban odailjati vie od 2 simbola, moda ak i beskonaan
broj mogunosti). Prijenos u ne-binarnom kanalu nije savren, a povremeno prijemnik dobiva
pogrenu malo.
BSC kanal se esto koristi od strane teoretiara, jer je jedan od najjednostavnijih bunih
(smetnje koje utjeu na krivi prijenos podataka) kanala za analizirati. Mnogi problemi u teoriji
komunikacije mogu se svesti na BSC.

Shematski prikaz BSC-a

X0 i X1 su informacije koje alje binarni izvor. P je vjerojatnost da se informacija prenese krivo.
1-P je vjerojatnost za ispravan prijenos informacije. Y 0 i Y1 su informacije koje dolaze na
prijemnik.
Entropija BSC-a se rauna prema formuli:

Entropija je maksimalna ukoliko je vjerojatnost pogrenog prijenosa 0,5.

Grafiki prikaz entropije.

Kapacitet BSC-a:

Pogreka na binarnom simetrinom kanalu.

Binarni simetrini kanal moe prenositi informaciju sa smanjenom pogrekom ako se uvede
zalihost. Pretpostavimo dakle da prenosimo 0 kodom(000) a 1 kodom (111). Tada su preostale
kombinacije kodova neiskoritene. Pretpostavimo da je vjerojatnost tonog prijenosa P a
netonog Q, Q<0.5. Za Q=P=0.5 imamo samo um na kanalu i kapacitet C=0.