Teorija informacija

Auditorne vježbe
ak. 2014./2015.

, asist.
 Definicija
• TEORIJA INFORMACIJE
je matematička teorija, temeljena na statistici i teoriji
vjerojatnosti koja se bavi komunikacijom, tj.
prijenosom poruke od izvora do odredišta, i to:
– Što brže
– Što točnije
– Uz što manji utrošak energije
– Uz prikrivanje i zaštitu od zloupotrebe
 ...
• Teorija informacije postavlja model
komunikacijskog sustava
• Komunikacijski sustav je prvi važan pojam u
teoriji informacija
 Shema komunikacijskog kanala

IZVOR KANAL ODREDIŠTE

SMETNJE

IZVOR KODER KANAL DEKODER ODREDIŠTE

SMETNJE
 Komunikacijski sustav
• KOMUNIKACIJSKI KANAL – skup uređaja koji
osiguravaju prijenos signala po prijenosnom putu
• ZAŠTITNI DEKODER – vrši detekciju i korekciju grešaka
(na osnovu primljenih signala, izobličenih smetnjama, mora
restauirati poslanu poruku)
• DEKODER IZVORA (Dekoder informacije) – Odaslanu
poruku pretvara u prikladan oblik, koji odgovara poslanoj
poruci, a koju onda primatelj poruke primi vizualno, akustično
ili drugim načinom koji mu je razumljiv
 Shema komunikacijskog kanala

PREDAJNIK PRIJEMNIK

KODER ZAŠTITNI KANAL ZAŠTITNI DEKODER ODREDIŠTE

IZVOR
IZVORA KODER DEKODER IZVORA

SMETNJE
 ZAŠTITNO KODIRANJE
Osnovni parametri zaštitnih kodova
• HAMMINGOVO RASTOJANJE
između dviju kodnih riječi jednake duljine je broj pozicija u kojima
su odgovarajući simboli različiti. Drugim riječima, mjeri minimalni
broj supstitucija potreban za promjenu jedne kodne riječi u drugu,
ili broj grešaka koji bi jednu kodnu riječ transformirao u drugu.

• TEŽINA KODNE RIJEČI

jednaka je broju jedinica, odnosno nenultih znamenki u toj kodnoj
riječi
 Primjer:

• Neka je:
– Kod 1: K1={ (0000); (0010); (0110); (1110);}
– Kod 2: K2={ (1010); (0011); (1000); (1111);}

Odrediti minimalno Hammingovo rastojanje i težine

kodnih riječi!
 PARITETNO KODIRANJE
• Koristi se isključivo za otkrivanje pogrešaka u
kodnoj riječi
• Na poruku se dodaje jedan zalihosni simbol koji
se naziva paritetni bit
• U praksi se koristi parni ili neparni paritet
(odnosno ukupan broj jedinica u kodnoj riječi
paran ili neparan)
• Pravilo kodiranja:
• i1+i2+i3+i4+...+ik+p1=0
gdje su i1,i2,...ik informacijski binarni simboli, a p1
je paritetni bit
 Princip zbrajanja i množenja bitova u
teoriji informacija
• Zbrajanje - XOR sklop
• Množenje – AND sklop
 Primjer

• Potrebno je izračunati paritetni bit za sve

kodne riječi duljine 3 bita, i to tako da kodna
riječ ima parni paritet.
 KODOVI S KRIŽNIM PARITETOM

• Poboljšanje metode otkrivanja pogrešaka s jednostrukim paritetom može

se postići križnim kombiniranjem po dva takva ispitivanja po stupcima i
retcima informacijskog polja.

KONTROLA
INFORMACIJSKI SIMBOLI PARITETA
REDAKA

UKUPNA
KONTROLA PARITETA STUPACA KONTROLA
PARITETA