US - Osnovi Teorije Informacija I Kodovanje

UNIVERZITET SINGIDUNUM

OSNOVI T EOR I J E INFO RMACIJA

I
KO D OVA N JA

Beograd, 2013.
OSNOVI TEORIJE INFORMACIJA I KODOVANJA

Autori:

! "

UNIVERZITET SINGIDUNUM
#$ ! %&
'''(#()(

*
Godina izdanja:
2013.

370 primeraka
tampa:
+/
)
456 89;<;=<98>&<?@=<A
C-F#*6
H &@>%( J
#
4

K -(
L-) -* ) -O)
(
Dobar naunik je onaj ko misli kao i svi

drugi, a vidi neto to niko drugi nije
video. Genije je onaj ko vidi isto to i svi
drugi, a misli neto to niko drugi nije
pomislio"

SADRAJ

1.1.
Pojam informacije ................................................................................................. 11
1.2.
Informacijska hijerarhija ................................................................................... 12
1.3.
Informaciono drutvo .......................................................................................... 14
1.4.
Teorija informacija kao akademska disciplina .......................................... 16

2.1. Entropija izbori mogunosti sa poznatim verovatnoama ................. 27

2.2. Informacija i njena mera .................................................................................... 44

2.3. enonova matematika teorija informacije ................................................ 53

e

e
2.4.
Laboratorijski rad ................................................................................................. 60
III

3.1. Kodovanje jedne sluajne veliine .................................................................. 73

N

3.2. Efikasno Kodovanje .............................................................................................. 83

e

3.3.
Laboratorijski rad ................................................................................................. 96

4.1. Komunikacioni kanali ...................................................................................... 100

4.2. Kodovanje u prisustvu uma .......................................................................... 109

e

e
5.1. Osnove kodova za ispravljanje greaka ..................................................... 115

5.2. Linearni kodovi ................................................................................................... 122

IV

5.3. Ciklini kodovi ..................................................................................................... 138

5.4. Konvolucioni kodovi ......................................................................................... 147

5.5. Praktina primena zatitnih kodova ........................................................... 161

5.6.
Laboratorijski rad .............................................................................................. 172

6.1. Perfektna tajnost ................................................................................................ 190

e
6.2. Neperfektna tajnost i taka jedinstvenosti ............................................... 195

6.3.
Autentifikacija ..................................................................................................... 199

~

e

,
VI
Predgovor

e

Zadatak br. 1:

Zadatak br. 2:

Zadatak br. 3:
VII

x
x
x
x
x
x
ta je informacija, kako se meri?

ta je algoritamska sloenost i kako se meri?
ta su granice kompresije jednog skupa podataka ispod koje se ne moe ii
bez gubitka dela informacije?
ta je uzajamna informacija izmeu dva skupa podataka, odnosno koliko
jedan skup podataka sadri u sebi informacije o onom drugom?
ta je redundansa (suvinost) jednog izvora informacija i kako se ona moe
iskoristiti?
Kako mogu da konstruiem transformaciju podataka koje aljem ili
memoriem, tako da na prijemu ili prilikom iitavanja mogu da ispravljam
greke u prenosu ili prilikom memorisanja?

VIII

,

IX
Osnovi teorije informacija i kodovanja

______________________________________________________________________________________
1. UVOD

in formare

10

______________________________________________________________________________________

11

______________________________________________________________________________________

Data, Information, Knowledge,

Wisdom

podatak
informacija
znanje
12

______________________________________________________________________________________
mudrost

13

______________________________________________________________________________________
e

e

14

______________________________________________________________________________________

e

e

e
15

______________________________________________________________________________________

e Claude Shannon
eBell Laboratories
Massachusetts Institute of Technology

e
e

e

Odnos teorije informacija i telekomunikacija -
e
e

16

______________________________________________________________________________________
e
e C. E. Shannon A mathematical theory of communication,

Bell System Technical Journal

e Communication Theory of Secrecy Systems Bell

System Technical Journal,
e

e

Network coding)

Odnos teorije informacija i raunarske nauke - ,

e

e
Odnos teorije informacija i fizike -

17

______________________________________________________________________________________
Odnos teorije informacija i matematike -

error exponent
Odnos teorije informacija i filozofskih nauka -
,

Odnos teorije informacija i ekonomije -

Odnos teorije informacija, raunarstva i komunikacija -

18

______________________________________________________________________________________
2. ENTROPIJA I INFORMACIJA

Na koji nain moemo izmeriti koliinu neodreenosti u datoj emi izbora ?

dane

Da li je zamiljeni broj paran?
Da li je zamiljeni broj manji od 20?
Da li je zamiljeni broj vei od 12?
i td
19

______________________________________________________________________________________

dane

ne
da

20

______________________________________________________________________________________

,

ne
da

ta e se desiti u optem sluaju kada je kardinalnost skupa proizvoljan prirodan
broj?

21

______________________________________________________________________________________

DEFINICIJA 2.1 Koliina neodreenosti eme izbora.

PRIMER 2.1e

22

______________________________________________________________________________________

PRIMER 2.2

23

______________________________________________________________________________________

TEOREMA 2.1

24

______________________________________________________________________________________

25

______________________________________________________________________________________

26

______________________________________________________________________________________

*

*

DEFINICIJA 2.2

Kolika je koliina neodreenosti u verovatnosnom sistemu izbora?

ne
PRIMER2.3

27

______________________________________________________________________________________

28

______________________________________________________________________________________

DEFINICIJA 2.3

PRIMER 2.4

29

______________________________________________________________________________________

OSOBINA 2.1

LEMA 2.1

30

______________________________________________________________________________________

31

______________________________________________________________________________________

TEOREMA 2.2

~

32


______________________________________________________________________________________

, ,

,

33

______________________________________________________________________________________

DEFINICIJA

finitnost

34

______________________________________________________________________________________

Kako poznavanje ove injenice utie na neodreenost sistema?
35

______________________________________________________________________________________

36

______________________________________________________________________________________

U kakvom su odnosu ove tri entropije?

TEOREMA 2.3

37

______________________________________________________________________________________

LEMA 2.2

PRIMER 2.5

Kako ovaj dogaaj utie na neodreenost veliine ?

38

______________________________________________________________________________________

TEOREMA 2.4

DOKAZ TEOREME 2.4
39

______________________________________________________________________________________

KAROLARIJ 2.1

DOKAZ KAROLARIJA 2.1

KAROLARIJ 2.2

DOKAZ KAROLARIJA 2.2

40

______________________________________________________________________________________
PRIMER 2.6

41

______________________________________________________________________________________

PRIMER 2.7

42

______________________________________________________________________________________

43

______________________________________________________________________________________

ta je informacija i kako se ona meri?

0

44

______________________________________________________________________________________

PRIMER 2.8

ta je sada njena mera?

45

______________________________________________________________________________________

Self-information

46

______________________________________________________________________________________

TEOREMA 2.5

TEOREMA 2.6

TEOREMA 2.6a

47

______________________________________________________________________________________

,
,

e

~
F {( X Y ), X , Y , ( X Y ), ( X Y c ), ( X c Y ), ( X Y )c , I}

~
P *( X Y ) H ( X , Y )
~
P *( X ) H ( X )
~
P *(Y ) H (Y )
~
P *( X Y ) I ( X ; Y )
~
P *( X Y ) H ( X | Y )
P *(Y X ) H (Y | X )
~
P *((Y X )c ) H ( X | Y ) H (Y | X )
P * (I )
0

e
X Y
48

______________________________________________________________________________________
H /I oP
,o
;o
|o .

X Y e
F P * I X
Y X Y

H ( X , Y ) { H ( X ) H (Y ) I ( X ; Y ),

~
P ( X Y ) { P ( X ) P (Y ) P ( X Y ).
e
X Y
H ( X , Y )

H ( X ) H (Y ) H ( X , Y ) .

49

______________________________________________________________________________________

H ( X , Y ) d H ( X ) H (Y )
0 d H ( X ) d log 2 n
n X
X
Y
Y
H (X |Y )
H ( X , Y ) H (Y ).

H ( X | Y ) d H ( X ),
H (Y | X ) d H (Y ).

50

______________________________________________________________________________________

51

______________________________________________________________________________________

52

______________________________________________________________________________________
e,

e Claude E. Shannon
e

e

e

e

e

53

______________________________________________________________________________________
e

{ X 1 , X 2 , X 3 ,...}.
X X 1 X 2
A

A

e

xfoml rxkhrjffjuj zlpwcfwkcyj ffjeyvkcqsghyd qpaamkbzaacibzlhjqd
54

______________________________________________________________________________________

ocroh hli rgwr nmielwis eu ll nbnesebya th eei alhenhttpa oobttva nah brl

on ie antsoutinys are t inctore st be s deamy achin d ilonasive tucoowe at
teasonare fuso tizin andy tobe seace ctisbe

in no ist lat whey cratict froure birs grocid pondenome of demonstures of
the reptagin is regoactiona of cre

-

55

______________________________________________________________________________________

i

56

______________________________________________________________________________________
-

-

e

e
e

e

0.5
0.5

57

______________________________________________________________________________________

PRIMER

a a a a a a a a a a b b b b b a a a a a

0 0 0 1 1 0 1 0 0 0 1 1 1 1 1 1 0 0 0 0

0.45
0.45
0.05
0.05

PRIMER
58

aa
aa
aa
aa
aa
bb
bb
ba
aa
aa

10
10
111

______________________________________________________________________________________

aaa
0.405
bbb
0.405
10
aab
0.045
1100
abb
0.045
1101
bba
0.045
1110
baa
0.045
11110
aba
0.005
111110
bab
0.005
111111

PRIMER

aaa
aaa
aaa
abb
bbb
aaa
1101
10

59

______________________________________________________________________________________

VEBA 1.

Poruke
M1
60

______________________________________________________________________________________
M2
M3
M4

VEBA 2

61

______________________________________________________________________________________

= =

62
Poruke
Kodovi
M1
M2
M3
M4
M5

______________________________________________________________________________________
M6

63

______________________________________________________________________________________
VEBA 3.

bitova inf./bit

64

______________________________________________________________________________________

VEBA 4.

pS00
0.24, pS01
0.12, pS10
0.48, pS11
0.16;
65

______________________________________________________________________________________

ps00 log 2( ps00 ) ps01 log 2( ps01 ) ps10 log 2( ps10 ) ps11 log 2( ps11 )
0.24 log 2(0.24) 0.12 log 2(0.12) 0.48 log 2(0.48) 0.16 log 2(0.16)
1.7925 / 2
0.8962bit

VEBA 5:

ee

66

______________________________________________________________________________________

Hi

e

Image processing).

67

______________________________________________________________________________________

Gray-scale

68

______________________________________________________________________________________

Koji regioni slike sadre najmanji informacioni sadraj?

69

______________________________________________________________________________________

70

______________________________________________________________________________________

71

______________________________________________________________________________________
3. EFIKASNO KODOVANJE INFORMACIJA

e

ta je razlog da uopte neto kodujemo?

72

______________________________________________________________________________________
, ,

Source coding

alfabet
je diskretan
arnost

kodne rei
kodnog alfabeta

73

______________________________________________________________________________________

DEFINICIJA 3.1

PRIMER 3.1

DEFINICIJA 3.2

PRIMER 3.2
74

______________________________________________________________________________________
abc
aaabcaacc

aaaa
cc
aaaacc
PRIMER 3.3

abbcb
Prefix Free Code

DEFINICIJA 3.3

PRIMER 3.4

a
c
75

______________________________________________________________________________________
Odakle potie na interes za prefiksnim kodovima?

OSOBINA 3.1

DEFINICIJA 3.4

OSOBINA 3.2

76

______________________________________________________________________________________
N
n

DEFINICIJA 3.5 N-

N-
n- n-

PRIMER 3.5N

77

______________________________________________________________________________________
,

OSOBINA 3.3
n-

DEFINICIJA 3.6
n-

PRIMER 3.6

ac
c
DEFINICIJA 3.7N-
n-
OSOBINA 3.4
n- n-

78

______________________________________________________________________________________

PRIMER 3.7

79

______________________________________________________________________________________

DEFINICIJA 3.8
n-

TEOREMA 3.1

PRIMER 3.8
80

______________________________________________________________________________________

PRIMER 3.9
Da li postoji binarni prefiksni kod sa duinama kodnih rei , , ,
?

81

______________________________________________________________________________________

PRIMER 3.10
Da li binarni prefiksni kod sa duinama kodnih rei 1,2,2,3,4 postoji?

82

______________________________________________________________________________________

DEFINICIJA 3.9

Kako odrediti duine kodnih rei?
Koja je najmanja teorijska vrednost za ?

n-

n-
83

______________________________________________________________________________________
DEFINICIJA 3.10n-
n- n-

PRIMER 3.11

n-

LEMA 3.1
84

______________________________________________________________________________________
n-

PRIMER 3.12

DEFINICIJA 3.11n-
n-

OSOBINA 3.5
n-

DOKAZ OSOBINE 3.4

DEFINICIJA 3.12

85

______________________________________________________________________________________

PRIMER 3.13

TEOREMA 3.2
n-

PRIMER 3.14

e
86

______________________________________________________________________________________
TEOREMA 3.3

e e

TEOREMA 3.4e

Kakva je ta granica?
Da li ima i drugih granica (npr 1)?

87

______________________________________________________________________________________

e e

Da li ovakav kod uvek postoji?

e

TEOREMA 3.5e
88

______________________________________________________________________________________

PRIMER 3.15
e

Kako se konstruie kodno stablo ?

89

______________________________________________________________________________________

90

______________________________________________________________________________________

Hafmanov kod

aktivnim

91

______________________________________________________________________________________
neaktivne
aktivan

PRIMER 3.16

92

______________________________________________________________________________________

PRIMER 3.17

93

______________________________________________________________________________________

LEMA 3.2

LEMA 3.3
94

______________________________________________________________________________________

LEMA 3.4

e

LEMA 3.5

LEMA 3.6

TEOREMA 3.6

95

______________________________________________________________________________________

VEBA 6.

96

______________________________________________________________________________________

97

______________________________________________________________________________________

huffmandict().

98

______________________________________________________________________________________
4. KANALI ZA PRENOS INFORMACIJA

99

______________________________________________________________________________________

100

______________________________________________________________________________________

DEFINICIJA 4.1 Discrete Memoryless
Channel

101

______________________________________________________________________________________

PRIMER 4.1Binary Symmetric Channel

error
rate

PRIMER 4.2

Kolika je verovatnoa da prenesemo jednu poruku korektno?

102

______________________________________________________________________________________
e

Poruka
Kod
000
001
010
011
100
111

TEOREMA 4.1

103

______________________________________________________________________________________

DEFINICIJA 4.2

PRIMER 4.3

Da li se ova granica moe dostii za neku raspodelu

104

______________________________________________________________________________________

e

,
DEFINICIJA 4.3

PRIMER 4.4

105

______________________________________________________________________________________
LEMA 4.1

OSOBINA 4.1

,

DEFINICIJA 4.3a

PRIMER 4.5

LEMA 4.2
106

______________________________________________________________________________________

OSOBINA 4.2

DEFINICIJA 4.4

TEOREMA 4.2

PRIMER 4.6

DEFINICIJA 4.5

107

______________________________________________________________________________________

PRIMER 4.7

108

______________________________________________________________________________________
e

Noisy
Coding Theorem

Koja je maksimalna brzina pouzdanog prenosa po kanalu sa umom uz upotrebu
kodova za ispravljanje greaka?
Koja je maksimalna koliina greaka koja se ini kada se informacije prenose
brzinom veom od maksimalne?

109

______________________________________________________________________________________

e
TEOREMA 4.3

110

______________________________________________________________________________________
PRIMER 4.9

Kako stoji stvar sa DMC sa povratnom spregom?

TEOREMA 4.4

Da li za zadate , i , date u tabeli postoje kodovi koji ispunjavaju ove zahteve?
Kod

Da li postoji?
Kanal

111

______________________________________________________________________________________

Kod
Postoji!
Kanal
112
da
da da
da
da
da

ne

ne
moda

______________________________________________________________________________________
Kod
Postoji!
Kanal

da
da da

ne
ne

ne
moda
ne
ne
e C. E. Shannon A
mathematical theory of communication Bell System Technical Journal
andJuly and October

e

Coding
Theory
113

______________________________________________________________________________________
5. ZATITNI KODOVI KODOVI ZA ISPRAVLJANJE GREAKA

ta su blok kodovi?
Kako se meri rastojanje izmeu kodnih rei?
ta je teina kodne rei?
ta je minimalno rastojanje i minimalna teina jednog koda?
Kako se odnose ove veliine prema broju greaka koje kodovi mogu da detektuju ili
isprave?
114

______________________________________________________________________________________

e

PRIMER 5.1

DEFINICIJA 5.1

PRIMER 5.2

115

______________________________________________________________________________________

~,
DEFINICIJA 5.2

PRIMER 5.3

DEFINICIJA 5.3

PRIMER 5.4

OSOBINA 5.1

PRIMER 5.5
116

______________________________________________________________________________________

OSOBINA 5.2

DEFINICIJA 5.4

OSOBINA 5.3

OSOBINA 5.4

PRIMER 5.6

OSOBINA 5.5

PRIMER 5.7

117

______________________________________________________________________________________

Zato su Hemingova rastojanja i teine rei vana za algebarske kodove za
ispravljanje greaka?

Na koji nain se dekoduju blok kodovi?

DEFINICIJA 5.5

118

______________________________________________________________________________________

,

e
Da li postoji nain da se unapred za zadati kod moe rei koliko greaka moe
detektovati, a koliko ispraviti?
119

______________________________________________________________________________________

DEFINICIJA 5.6

TEOREMA 5.1

OSOBINA 5.6

DOKAZ

OSOBINA 5.7

120

______________________________________________________________________________________

DOKAZ

PRIMER 5.8

PRIMER 5.9

121

______________________________________________________________________________________

ta su D-arni linearni kodovi?

Kako se vri kodovanje pomou generator matrica?
ta je sistematska forma generator matrica ovih kodova?
Kako se vri dekodovanje na osnovu verifikacionih matrica i sindrom tabela?
Kako se izraunava minimalno rastojanje linearnih kodova?
ta su binarni Hemingovi kodovi i kako se koriste?
DEFINICIJA 5.7

PRIMER 5.10

122

______________________________________________________________________________________
OSOBINA 5.8

Koliko kodnih rei sadri jedan D-arni linearni kod?
OSOBINA 5.9

DOKAZ

OSOBINA 5.10

DOKAZ

Koliko se razliitih poruka moe kodovati linearnim kodom?
123

______________________________________________________________________________________

TEOREMA 5.2

PRIMER 5.11

124

______________________________________________________________________________________

DEFINICIJA 5.8

PRIMER 5.12

125

______________________________________________________________________________________

DEFINICIJA 5.9

Parity Matrix

DEFINICIJA 5.10

PRIMER 5.13

126

______________________________________________________________________________________

e
PRIMER 5.14

Na koji nain linearni kodovi detektuju i ispravljaju greke?

127

______________________________________________________________________________________

DEFINICIJA 5.11

Kako nai verifikacionu matricu?

TEOREMA 6.3

PRIMER 5.15

128

______________________________________________________________________________________

Kako se dobija verifikaciona matrica u optem sluaju, kada generator matrica nije
u sistematskoj formi?

PRIMER 5.16

129

______________________________________________________________________________________

OSOBINA 5.11

OSOBINA 5.12

130

______________________________________________________________________________________

OSOBINA 5.13

PRIMER 5.17

131

______________________________________________________________________________________

Tabela a
Sindrom

101
111
100
010
001
Tabela b

132

______________________________________________________________________________________

PRIMER 5.18

KONTROLNO PITANJE
e

ODGOVOR

133

______________________________________________________________________________________

TEOREMA 5.4

PRIMER 5.19

OSOBINA 5.14

134

______________________________________________________________________________________

e
Koju dimenziju treba da ima ova verifikaciona matrica?
Da li ova konstrukcija zaista daje verifikacionu matricu koda?
Da li ovako konstruisan kod moe zaista da koriguje sve vektore greaka sa ukupno
jednom grekom?
e

135

______________________________________________________________________________________

DEFINICIJA 5.13

OSOBINA 5.15

136

______________________________________________________________________________________
PRIMER5.20

Kako se ona dekoduje?

137

______________________________________________________________________________________
,

ta su ciklini kodovi?
Kako se kodovi prezentuju pomou polinoma?
Kako se vri kodovanje i dekodovanje pomou ciklinih kodova?
DEFINICIJA 5.14

PRIMER 5.21

138

______________________________________________________________________________________
,

ta je onda ?

DOKAZ

e

139

______________________________________________________________________________________
PRIMER 5.22

PRIMER 5.23

ta su polinomijalne prezentacije sledeih kodnih rei?

140

______________________________________________________________________________________

ta je onda u sledeim sluajevima?

OSOBINA 5.16

TEOREMA 5.5

141

______________________________________________________________________________________

PRIMER 5.24

142


______________________________________________________________________________________

TEOREMA 5.6

TEOREMA 5.7

,

143

______________________________________________________________________________________

x
x

PRIMER 5.25

Kako se odvija dekodovanje?

144

______________________________________________________________________________________
Sindrom
Korektor

PITANJE

Kako e se dekodovati sledee poruke?

ODGOVORI

145

______________________________________________________________________________________

Sindrom
Korektor

146

______________________________________________________________________________________

ta su konvolucioni kodovi?
Kako se vri kodovanje konvolucionim kodovima?
ta je stanje i dijagram stanja?
ta je reetkasta prezentacija vezana za predstavljanje ovih kodova?
Kako koristiti Viterbijev algoritam na reetkama, u cilju dekodovanja minimalnim
rastojanjem?
Kako izraunati minimalno rastojanje konvolucionih kodova?

e

147

______________________________________________________________________________________

148

______________________________________________________________________________________

PRIMER 5.26

Stanje

149

______________________________________________________________________________________

e
DEFINICIJA 5.15

DEFINICIJA 5.15

150

______________________________________________________________________________________

PRIMER 5.27

151

______________________________________________________________________________________
e

State machine
DEFINICIJA 5.16
gtaf

PRIMER 5.28

152

______________________________________________________________________________________

PRIMER 5.29

PRIMER 5.30

153

______________________________________________________________________________________

154

______________________________________________________________________________________
000
001
010
011
100
101
110
111

155

______________________________________________________________________________________

for i from 1 to do
for all do

end for
end for

PRIMER 5.31

156

______________________________________________________________________________________

157

______________________________________________________________________________________
x
x

158

______________________________________________________________________________________

PRIMER 5.31 a

159

______________________________________________________________________________________

OSOBINA 5.17

160

______________________________________________________________________________________
,e

Automatic Repeat Request

Forward Error Correction

161

______________________________________________________________________________________

162

______________________________________________________________________________________
-

Broadcast

burst

163

______________________________________________________________________________________

Gottfried Ungerboeck

trelis

164

______________________________________________________________________________________

165

______________________________________________________________________________________

e

e

166

______________________________________________________________________________________

e

167

______________________________________________________________________________________

168

______________________________________________________________________________________

Deep space standard

169

______________________________________________________________________________________

Cross Interleave Reed Solomon Code

Performanse kontrole greke CIRC-a
Maksimalno
ispravljanje
greke
Maksimalna
interpolacija
greke
Nedetektovani uzorci greke

Novi diskovi imaju tipian
stopu greke (engl. BER)

170

______________________________________________________________________________________

171

______________________________________________________________________________________

VEBA 7.

172

______________________________________________________________________________________

173

______________________________________________________________________________________

e

parity bit
check bit

174

______________________________________________________________________________________

e

Sindrom vrednosti
nulta
nenulta
nenulta
Parnost poruke
Rezultat

175

______________________________________________________________________________________
VEBA 8.

176

______________________________________________________________________________________

= 1110000

177

______________________________________________________________________________________

0

,

Kraj.

178

______________________________________________________________________________________

179

______________________________________________________________________________________

180

______________________________________________________________________________________

sid

181

______________________________________________________________________________________

182

______________________________________________________________________________________

183

______________________________________________________________________________________

Frame-based outputs Samples per frame

184

______________________________________________________________________________________
VEBA 9.

Postavka parametara modela sa i bez primene interlivera.

185

______________________________________________________________________________________

Rezultat sa primenom interlivera.

Rezultat bez primene interlivera.

186

______________________________________________________________________________________

187

______________________________________________________________________________________
6. KRIPTOGRAFIJA INFORMACIONO TEORIJSKI UVOD

ta je predmet i cilj kriptografije?
Teorijska postavka problema kriptografije u okviru teorije informacija.
ta je perfektan tajnost i kako se postie?
ta je taka jedinstvenosti i kakav je njen znaaj?

188

______________________________________________________________________________________

189

______________________________________________________________________________________

DEFINICIJA 6.1
e

TEOREMA 6.1

TEOREMA 6.2

PRIMER 6.1

e

190

______________________________________________________________________________________
e

e

191

______________________________________________________________________________________
PRIMER 6.2

TEOREMA 6.3

DOKAZ

192

______________________________________________________________________________________

, e

193

______________________________________________________________________________________
e

e
194

______________________________________________________________________________________
,

e

ta moemo rei o praktino upotrebljivijim, ali neperfektnim ifarskim sistemima?
e

DEFINICIJA 6.2

,,

195

______________________________________________________________________________________

TEOREMA 6.4

e

196

______________________________________________________________________________________
DOKAZ:

PRIMER 6.5

197

______________________________________________________________________________________

e
* ,

PRIMER 6.6

PRIMER 6.7

198

______________________________________________________________________________________

Zato su autentifikacija i tajnost teoretski nekompatibilni?
Kako obezbediti autentifikaciju u praksi?

TEOREMA 6.7

199

______________________________________________________________________________________

200

______________________________________________________________________________________
7. BIBLIOGRAFIJA
A. J. Viterbi and J. K. Omura.

Aiden A. Bruen, Mario A. Forcinito

Blahut, Richard E.

Duan B. Draji, Predrag N. Ivani

F. Bavaud, J.-C. Chappelier, J. Kohlas

Lang, Serge.
Lin, Shu and Daniel J. Costello, Jr.

N. M. Abramson.

R. Adler.

Raymond W Yueng

Shannon C. E.,

Van Lint, J. H.

201

______________________________________________________________________________________
DODATAK A UVOD U MATLAB OKRUENJE

MATrix LABaratory

RAD-rapid application development

202

______________________________________________________________________________________

command window

ans

ans.

203

______________________________________________________________________________________

204


______________________________________________________________________________________

205

______________________________________________________________________________________

206

______________________________________________________________________________________

207

______________________________________________________________________________________

excel

xlsfinfo
excel

208


______________________________________________________________________________________

excel

209

______________________________________________________________________________________

excel
210

______________________________________________________________________________________

211

______________________________________________________________________________________

212

______________________________________________________________________________________

213

______________________________________________________________________________________
DODATAK B JEDNA PRIMENA

GREAKA U KRIPTOGRAFIJI
KODOVA
ZA
ISPRAVLJANJE

214

______________________________________________________________________________________

Komponenta 1

Komponenta 2

Komponenta 3

215

______________________________________________________________________________________

Komponenta 4

Random interliver

Komponenta 5 -

Komponenta 6 -

Komponenta 7 -

Komponenta 8 -

Komponente 9 i 10

216

______________________________________________________________________________________

Analiza ekvivalentnog kanala

217

______________________________________________________________________________________

e

e

e

e

218

______________________________________________________________________________________
Uloga zatitnog koda i interlivera

x
x
x

Izbegavanje greaka

Ispravljanje greaka

K

burst

GF (2 n )

219

______________________________________________________________________________________

Smanjenje greaka

Motiv za uvoenje zatitnih kodova i interlivera

220

______________________________________________________________________________________

rror correcting code

221

______________________________________________________________________________________

222

______________________________________________________________________________________
RENIK POJMOVA
A
Algoritam -
Arnostn-n
B
BSC
BSS
Blok kod
G
Generator matrica
D
Dekodovanje
E
Entropija
I
Informacioni izvor
223

______________________________________________________________________________________
K
Kapacitet kanala -

Kodna re-
Kriptoanaliza -
Komunikacioni kanal -

Kompletan kod-
Kodovanje-
Kriptoloki klju -

Kriptograf -
Kriptoanalitiar -
Kriptografija -
Kriptoanaliza -
L
Linearni kod
M
MAC -
Minimalna distanca -

224

______________________________________________________________________________________
Minimalna distanca dekodovanja -

N
Nula kodna re
O
One-time pad -

Oekivana duina koda-
Jednosmerna funkcija -
P
Poruka -

Perfektna tajnost

PKI -

PRNG -
225

______________________________________________________________________________________
R
RSA -
e

S
Stacionarni izvor
Sindrom
T
TRNG -

Teina rei
F
Faktorizacija -
H
Hemingovo rastojanje -

Hafmanov kod
226

______________________________________________________________________________________
C
CRC Cyclic Redudancy Check

Ciklini kod-

ifra -

ifrat -

ifrovanje -
227

______________________________________________________________________________________
228
Na osnovu lana 23. stav 2. taka 7. Zakona o porezu na dodatu vrednost (Slubeni
glasnik RS, br. 84/2004, 86/2004 (ispr.), 61/2005, 61/2007 i 93/2012), Odlukom Senata Univerziteta Singidunum, Beograd, broj 260/07 od 8. juna 2007. godine, ova knjiga
je odobrena kao osnovni udbenik na Univerzitetu.
CIP -
,
519.72(075.8)
004.22(075.8)
, , 1952Osnovi teorije informisanja i kodovanja /

Milan Milosavljevi, Saa Adamovi. - 1.
izd. - Beograd : #Univerzitet #Singidunum,
2013 (Loznica : Mladost grup). - 228 str. :
ilustr. ; 24 cm
Tira 300. - Renik pojmova: str. 223-227. Bibliografija: str. 201.

ISBN 978-86-7912-506-4
1. , , 1985- []
a) b)
COBISS.SR-ID 200845580
2013.
Sva prava zadrana. Nijedan deo ove publikacije ne moe biti reprodukovan u bilo
kom vidu i putem bilo kog medija, u delovima ili celini bez prethodne pismene saglasnosti izdavaa.

US - Osnovi Teorije Informacija I Kodovanje

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

US - Osnovi Teorije Informacija I Kodovanje

Uploaded by

Copyright:

Available Formats

UNIVERZITET SINGIDUNUM

OSNOVI T EOR I J E INFO RMACIJA

OSNOVI TEORIJE INFORMACIJA I KODOVANJA

Dobar naunik je onaj ko misli kao i svi

Pojam informacije ................................................................................................. 11

Informacijska hijerarhija ................................................................................... 12

Informaciono drutvo .......................................................................................... 14

Teorija informacija kao akademska disciplina .......................................... 16

  

2.1. Entropija izbori mogunosti sa poznatim verovatnoama ................. 27

Laboratorijski rad ................................................................................................. 60

    

3.1. Kodovanje jedne sluajne veliine .................................................................. 73

Laboratorijski rad ................................................................................................. 96

   

4.1. Komunikacioni kanali ...................................................................................... 100

e       

5.1. Osnove kodova za ispravljanje greaka ..................................................... 115

5.3. Ciklini kodovi ..................................................................................................... 138

Laboratorijski rad .............................................................................................. 172

6.1. Perfektna tajnost ................................................................................................ 190

6.2. Neperfektna tajnost i taka jedinstvenosti ............................................... 195

Autentifikacija ..................................................................................................... 199

ta je informacija, kako se meri?

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

   

  Data, Information, Knowledge,

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

      

Osnovi teorije informacija i kodovanja

 e C. E. Shannon A mathematical theory of communication,

 e Communication Theory of Secrecy Systems Bell

Osnovi teorije informacija i kodovanja

Odnos teorije informacija i matematike -

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Kolika je koliina neodreenosti u verovatnosnom sistemu izbora?

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

   

,  ,  

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

Osnovi teorije informacija i kodovanja

U kakvom su odnosu ove tri entropije?

Osnovi teorije informacija i kodovanja

e

Data, Information, Knowledge,

e C. E. Shannon A mathematical theory of communication,

e Communication Theory of Secrecy Systems Bell

, ,

e,

, ,