Információelmélet PDF

Informcisrendszerekelmleti
alapjai
Informcielmlet
Irodalom
Irodalomjegyzk
1. J.Aczl,Z.Darczy.OnMeasuresofInformationandTheirCharacterization.
AcademicPress,NewYork.1975.
2. R.B.Ash.InformationTheory.Interscience,NewYork.1965.
3. J.Berstel,D.Perrin.TheoryofCodes.AcademicPress,NewYork.2002.
4. G.Birkhoff,T.C.Bartee.Amodernalgebraaszmtgptudomnyban.Mszaki
Knyvkiad,Budapest.1964.
5. T.M.Cover,J.A.Thomas.Elementsofinformationtheory.Wiley,NewYork.1991.
6. Csiszr I.,FritzJzsef.Informcielmlet.Tanknyvkiad,Budapest.1980.
7. C.E.Shannon,W.Weaver.Akommunikci matematikai elmlete.OMIKK,
Budapest.1986.
8. Gyrfi Lszl,Gyri Sndor,Vajda Istvn:Informcielmlet s kdelmlet,
Typotex,2000
9. LinderTams,LugosiGbor:Bevezets az informcielmletbe,Tanknyvkiad
1990
2015.02.09.
MolnrBlint,Benczr Andrs
Az informcielmlet kezdetei
2015.02.09.
Informcilemlet alapjai
1. Kommunikci
1. Informcisrendszerekvilga
2. Vletlenjelensgekrept
2. Shannon fleentrpia
1. Jvrevonatkozik
3. Kolmogorov entrpia
1. Szmtselmletrepl,mltravonatkozik.
Kommunikci lnyegeemberielmk(tudatok)
klcsnhatsa.
2015.02.09.
Shannonhrkzlsi modellje
informcifor ad
rs
csatorna
vev
zajforrs
2015.02.09.
rendeltet
sihely
Cmzett
5
Shannonhrkzlsi modellje
Ahrkzlssornegyzenetetjuttatunkelegytr s
idbelipontblegymsikba.
z
b
c
y
forrs/ad
tnyleges
forrs
Lehet
folytonos jel
2015.02.09.
Kdol/
ad
Dekdol/
vev
csatorna
vev/nyel
zaj
mintavtelezs
kvantls
forrskdols
A forrs jelt diszkrt

jell alaktja t s
tmrti
Shanon kommunikcismodellje
W.Weaver :Akommunikci felleli
mindazokatazeljrsokat,amelyekkelaz
egyikemberielmeamsikrahatnikpes
forrs/ad
(Tudat)
Kivlaszts
kdol
Ad
zenet
Kdols
2015.02.09.
dekdol
csatorna
Jel
Jel
tvitel
terjeds
Vev
Cmzett
vev/nyel
(Tudat)
zenet
Dekdols
szlels
Szintek
1. Mennyisgiszint:
1. Mennyirevihet trekonstrulhatana
kibocstottzenetazadottcsatornn
(mennyisgijellemzk,scsatornakapacits).
2. Megrtsiszint(jelents,szemantika).
3. Hatkonysgiszint(akvnthatselrse).
2015.02.09.
Kommunikci modellje
Vals
krnyezet
j ed
Vals
krnyezet
T er
szlels
z
e
kl net
d
s
Forrs
Tudat
Vltozs a
val vilgban
Felismerhet
legyen
2015.02.09.
Csatorna
Val vilg
Rendeltetsi
hely
Tudat
Valamitszlelnkavals
krnyezetben;kapcsolatbakerla
tudatunkkal;zenetkibocsts
trtnik;vltozstvltkiavals
vilgban;szleliacmzett;
kapcsolatbakerlatudattal.
Aterjeds idbentrtnik>
torzulsoklehetnek.
Akommunikci
mkdkpessgnekalapvet
felttele,hogyklnbz
zenetekhezolyanklnbz
vltozslegyenltrehozhat avals
vilgban,hogyazszlel is
klnbznekismerhessefel.
Hatkonysg:emlkekmegrzdse.
Trtnetillomsok
Beszdkialakulsa
Hangkpzs,megfelel finomsg,halls,tudat/agy,gesztikulls,testbeszd
Hanghullmterjedse
Akzsismeretekegyrszevanmindenkinl,csakl tudatbanltezik
Egyrsztelrhetv tesszkmsokszmra.
Feljegyzs rs,rajz,kp
rsmegmarad,tartssg[jv szmratudattlfggetlenlmegrzdik]
Nyomtats(knny sokszorosts)
2015.02.09.
Kzpkor,kdexek
Irattr,levltr
Knyvtr,szolgltats
Rgztettzenetekazonosformban
Tbbszrsen,elrhetv vlik
Kzsismeretetek,
Brokrcia
10
Azinformcielmletkezdetei
llatvilgrl
Emberiinformcicserefontosabblpsei
kzvetleninformcicsere
tvoliszemlyekkztiinformcicsere
Gpekkzvettsvelval hrkzls
gpekltalgenerltadatforgalom
Azinformcielmletkezdetei,Hartley,
Shannon
Azinformcielmletagyakorlatban
2015.02.09.
11
Jelek:
Rdifrekvencismsorszrs>hrkzls
Telefon>adattvitel,tvkzls(telematika)
Fnykp>digitlismszerek
rgp
Szmtgp>adattrols,adatelrs,szmtsok
(rzkszervekjelentsgecskken)
Kzsszlels:nemszksges,hogyegyidben
trtnjenmindenkinl.
2015.02.09.
12
Shannon hrkzlsimodellje
Ahrkzlssornegyzenetetjuttatunkelegytr s
idbelipontblegymsikba.
b kdol/ c
y
csatorna
forrs
ad
vev/
dekdol
nyel
zaj
Csatornakdols avagy hibajavt
kdols:
lehetv teszi a zajos csatornn
val biztonsgos(abb)
zenettvitelt, a keletkez hibk
jelzst kijavtst.
2015.02.09.
13
Ahrkzlssornegyzenetetjuttatunkelegytr sidbeli
pontblegymsikba.
forrs
Kdol c
/ad
csatorna
vev/
dekdol
nyel
zaj
c
modultor
talaktja a
kdolt zenetet
a csatornn
tvihet jell.
2015.02.09.
csatorna
zaj
torzul a jel
demodultor,
dnt
Eldnti, hogy a
lehetsges leadott
jelalakok kzl
melyiket adhattk.
14
pontblegymsikba.
forrs
Kdol c
/ad
csatorna
vev/
dekdol
nyel
zaj
Kijavtja s/vagy
jelzi a vett jelek
hibit.
Elvgzi a
csatornakdols
inverz mvelett.
2015.02.09.
15
pontblegymsikba.
forrs
Kdol c
/ad
y Dekdol/
csatorna
vev
nyel
zaj
a
forrskdols
inverze
a helyrelltott
zenetet
kibontja
2015.02.09.
a'
vev
rtelmezi az
zenetet
a vev a
csatorna vgn
lev "mszaki"
berendezs,
leemeli a
jeleket a
csatornrl,
ezeket fogja a
dekdol az
zenetnek
megfelel
szimblumokk
alaktani
16
Matematikai kitr
A valsznsgszmts alapfogalmairl
Esemny:sokszorvgrehajthat ksrleteredmnye.
Ksrlet,ill.kimenetellehetpldul:
Egydobozblgolykatvesznkki,svizsgljukasznket.
Esemny,hogypiros,zld,lila, golyttalltunk.
Fejvagyrstjtszunkegyrmvel.
Esemny:afejvagyazrsoldalvanfell.
Mindenkeddenreggel7s8rakzttvizsgljukegybuszmegllbana
megll buszokszmt.
Esemny:0buszlltmeg,1,2, buszlltmeg.
Egyhrkzlsicsatornrabocstunkegybizonyosjeletsvizsgljuka
kimenetijelet.
Esemny:avettjelazonosaleadottal,avettjelamplitdjaazonosa
leadottval,deafrekvencijaktszeres,
2015.02.09.
17
Matematikai kitr
AzA esemny ellentettesemnye (komplementer
esemnynek) aksrletmindenAnkvlikimenetele.
Jells:.
EgyA esemnyvalsznsge:nagyonsokszorelvgezve
aksrletet(Ezanagyszmoktrvnye,ezzelkzeltjk
azesemnyvalsznsgt)
p(A)
azon ksrletek szma, amikor A bekvetkezik

az sszes ksrlet szma
lim
azon ksrletek szma, amikor A bekvetkezik

kisrletekszma
az sszes ksrlet szma
2015.02.09.
18
Matematikai kitr
Avalsznsgjellemzi:
1 p(A) 0,az1valsznsg esemnybiztosan
bekvetkezik,a0valsznsg sohasemkvetkezik
be.
p(A)+p()=1.
2015.02.09.
19
Matematikaikitr
Avalsznsgszmts alapfogalmairl
AKolmogorovfle valsznsgiaximkrl:
Esemnytr:Azelemiesemnyek sszessge:;ateljes
esemny
Esemnyekhalmaza:S
Lehetetlenesemny:.
AzS halmazakkorscsakakkoralgebra,ha
S sS,
Ai S
haAiS ire,akkor
i
A1 A2 S
haA1S sA2S,akkor
Amegszmllhat metszet(szorzs)mveletrezrt(saz
uni (sszeads)mveletreis) ,azaz i N
2015.02.09.
20
Matematikai kitr
AKolmogorovfle valsznsgi aximkrl:

MindenAS esemnyhezrendelhet egyp(A)
szm,azAvalsznsge,melyreakvetkezk
igazak:
0 p(A) 1
p()=1
pAi = pAi
haA iA j=0 i jre,akkor i i
(A segyB esemnyszorzatn/metszetn azt
rtjk,haA sB isbekvetkezik)
2015.02.09.
21
Matematikaikitr
Egydobozban15srga,6lila,42fehrs11kk goly
van.Miavalsznsge,hogyhaegyetlengolyt
vesznkkiadobozbl(nemodanzve),akkoraz
11
11
p
(
kk
)
=
=
kklesz:
15+6+42+11
74
srgalesz:
nemsrgalesz:
kkvagylilalesz:
piroslesz:
2015.02.09.
15
15
p ( srga )= 15 +6+42+11 = 74
6+42+11
59
p ( srga )= 15 +6+42+11 = 74 =1 p ( srga )

6+42
48
p ( kk vagy lila )= 15 +6+42+11 = 74
p ( piros )=0
22
Matematikai kitr
EgyA segyB esemnyszorzatn aztrtjk,haA sB is
bekvetkezik.
A sB egyttesbekvetkezsi valsznsge:
p(AB)/p(AB).
EgyA segyB esemnysszege/unija az,havagyA,
vagyB (vagymindkett)bekvetkezik.Valsznsge:
p(A+B)/p(AB).
AzA sB esemnyekfggetlenek,hasemmifle
befolyssalnincsAnakabekvetkezseaB
bekvetkezsre.Ekkor
p(AB)=p(A) p(B).
2015.02.09.
23
Matematikai kitr
Egybesetekbenp(AB) p(A) p(B),csakaztlehettudni,
hogy
p(A+B)=p(A)+p(B) p(AB),
p(AB)=p(A)+p(B) p(AB)
s
p(AB) min(p(A),p(B))
2015.02.09.
24
Matematikai kitr
Egydobozban15srga,6lila,42fehrs11kkgoly
van.Miavalsznsge,hogyhaktgolytvesznkkia
dobozbl(nemodanzve),akkor
az1.kklesz,a2.fehr:
p 1.kk 2.fehr
mindkett srgalesz:
p ( (1 . srga )( 2 .srga ) )= 7473
11 42
74 73
15
valamelyiksrgalesz:
) (
14
15 14
15
15 15
p ( (1 . srga )+ ( 2. srga ) )= 74
73 + 74
1 14
+
1
73
74 73
egyiksemleszsrga:
2015.02.09.
)(
p ( ( 1. srga )( 2 .srga ) )= 1 74 1 73
( =1 p ( (1 .srga ) + (2 . srga )) )
15
15
)
25
Matematikaikitr
Azisrdekes,hogyha=A jeletadok,milyen=B kerlacsatorna
kimenetre,ez=B nek =A felttelmellettifeltteles
valsznsgvel,p(=B |=A )val rhat le:
p AB
p B A=
p A
Az egyttesfelttelesvalsznsgekkzttfennll:
p(AB)=p(B) p( A|B )=p(A) p( B|A )
2015.02.09.
26
Matematikai kitr
Egydobozban15srga,6lila,42fehrs11kk goly
van.Miafelttelesvalsznsgeannak,hogyhaaz
els kihzottgoly kkvolt,akkoramsodik
fehr:
kk:
nemkk:
11 42
p (( 1 . kk )( 2. fehr ) ) 7473
p ( ( 2. fehr ) | (1 . kk )) =
= 11
p (1 . kk )
p ( ( 2. kk ) | (1 . kk ))=
p ( ( 1. kk )(2 . kk ))
=
p ( 1. kk )
74
11 10
74 73
11
74
11
10
p ( ( 1. kk )(2 . kk )) 74 1 73
p ( ( 2. kk ) | (1 . kk ))=
=
11
p ( 1. kk )
74
Miannakafelttelesvalsznsge,hogyazels kkvolt,haa
11 10
msodikkk: p ( (1 . kk ) |( 2 . kk ))= p ( ( 1. kk )(2 . kk )) =

74 73
p ( 2. kk )
2015.02.09.
( 1 )
11
74
11
11 10
+ 74 73
73
27
Matematikaikitr
Haazesemnyekhez(ksrletkimeneteihez)szmrtkek
rendelhetk,(pl.rammrs),akkorkvncsiaklehetnka
ksrleteredmnynekvrhat rtkre.LegyenX={x1,x2,
xn }szmhalmazaksrletkimenetnekrtkkszlete;
Aksrleteredmnyeiegy valsznsgivltoz rtkei
Avalsznsgivltozklehetnekdiszkrtek, folytonosak vagy
kevertek.Egyvalsznsgivltoztdiszkrtnekneveznk,
hartkkszletevges(vagymegszmllhatanvgtelen).
azx1 kimenetvalsznsgeP( =x1), azxn P( =xn ).Ekkor
vrhat rtke(slyozotttlag)
n
i=1
i=1
E = P xi xi = pi xi
2015.02.09.
28
Matematikaikitr
Eloszls
P( =xi )=pi,i=1,,n,valsznsgeketa
valsznsgivltoz eloszlsnak nevezzk.
2015.02.09.
29
Matematikaikitr
Azisrdekelhetminket,
hogytlagosanmennyire D A E E
fogeltrniazeredmnya
vrhatrtktl,ezta
szrssaljellemezhetjk:
Hatbbksrletet
vizsglunk,AsB
R ,
korrelcijarjaleaz,hogy
mennyirefggakett
egymstl
E E
2
E E( ) E( )
=
D D
Azinformci
Azinformci valamelyvgesszm,elreismertesemny
kzlannakmegnevezse,hogymelyikkvetkezettbe.
Alternatvmegfogalmazs:azinformci mrtkeazonos
azzalabizonytalansggal,amelyetmegszntet.
Hartley:m szm,azonosvalsznsg esemnykzlegy
megnevezsvelnyertinformci:
I =log 2 m
(log2m krdsselazonosthat egyelem)

Megjegyzs:Haktesemnytegybevonunk,annak
megnevezse1bittelleszrvidebb,hiszenm/2szm
prblegy.
2015.02.09.
31
Azinformci
Azinformci valamelyvgesszm,elreismertesemnykzl
annakmegnevezse,hogymelyikkvetkezettbe.
Alternatvmegfogalmazs:azinformci mrtkeazonosazzala
bizonytalansggal,amelyetmegszntet.
Shannon:minlvratlanabbegyesemny,bekvetkezseannltbb
informcit jelent,annltbbbizonytalansgotkellkikszblni.
LegyenA={A1,A2, Am}esemnyhalmaz,azA1 esemny
valsznsgep1, azAm pm .EkkorazAi megnevezsekornyert
informci:
1
I ( Ai )=log 2 =log 2 pi .
pi
2015.02.09.
Megjegyzs: ha
pi=1/m, minden i-re,
visszakapjuk Hartley
defincijt.
32
Azinformci tulajdonsgai
1.
2.
3.
Csakazesemnyvalsznsgnekfggvnye.
Nemnegatv:I 0
Additv:ham=m1m2,
I(m1m2)=I(m1)+I(m2)
Megjegyzs:Ezekmrafggvnyegyenletmegoldsakntalogaritmusfggvnytadjk.
1.
Monoton:hapi pj ,akkorI(Ai ) I(Aj)
2.
Normls:legyenI(A)=1,hap(A)=0,5.Ekkorkettesalap logaritmushasznland s
azinformciegysgeabit.
I(mi)=log(1/pi )[bit] binary unit/digit
Megjegyzs:hatzesalap logaritmust(lgt)hasznlunk,ahartley,azegysg.Ekkoranormls:
I(p=0,1)=1.Hatermszetesalap logaritmussaldefiniljukazinformcit(I=ln p),akkora
natban mrjkazinformcit,anormls pedigI(p=1/e)=1.
1 bit = ln 2 nat
1 hartley = 3,3219 bit = 2,3026 nat
1 bit = 0,6931 nat = 0,3010 hartley
1 nat = 1,4427 bit = 0,4343 hartley
2015.02.09.
33
Azinformci
Aforrsunkakvetkez zenetetadtale:
ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncd
cccdcddcdccccnnn
(21dbc,22dbn,17dbd)
Mekkoraleszazinformcitartalma,haakvetkez
szimblumc lesz?
p(c)=21/(21+22+17)=21/60=0,35
I(c)= log2 0,35=ln 0,35/ln 2=1,51
2015.02.09.
34
Azinformci
Aforrsunka,,,, szimblumokat
bocstjakip=0,12,p=0,37,p=0,06,
p=0,21,p=0,24valsznsggel.Mekkora
leszazinformcitartalma,haakvetkez
szimbluma jel?
I()= log20,37= ln 0,37/ln 2=1,43
2015.02.09.
35
DISZKRTFORRS,DISZKRT,
ZAJMENTESCSATORNA
Pldalegegyszerbbcsatornvalkezdjk(logikai,formlislehet)
2015.02.09.
36
Binris,szimmetrikuscsatorna
Jelei:0,1
tviteliid:mindkettre:1/Csec(Hasonlaka
digitliscsatornk).
Egyforrs:igen nemzeneteketvlaszt
a) Szablyospnzrmefeldobsacszer.Idegysg
alatt.
a) 2cegyformalehetsg.Kdols:
a)
b)
Igen>0
Nem>1
b) 2cklnbz kdsz,egysgnyiid hossz.

2015.02.09.
37
2cklnbz kdsz,egysgnyiid hosszalatt.
Pl.c=1024=210,21024,
2015.02.09.
38
Lott hzs
Igen:lteziktstallataszelvnyemen
Nem:nincststallataszelvnyemen
1024=210,kthossz hzssorozateredmnyt
milyenrvidid alatttudjukcsatornnk
segtsgvelacmzetthezjuttatni.
2015.02.09.
39
3eset:
Nincstsegyszersem:kdsz 1,p0=(1P(tstallat))1024;
Egynltbbtsvan,kdik:10(kdsz) sorszm(10bit,
1024=210)[log2k];p1=(1P(tstallat))1023 P(tstallat);
1023=10241=2101
Hatbbtsvan:11 (kdsz) 1024hossz kdbanjelljkaz
tstallatokat.(k bit)
Ateljessorozatp2=1 p0 1024 p1
P(ts
tallat)
1P(ts
tallat)
2015.02.09.
1P(ts
tallat)
1P(ts
tallat)
1P(ts
tallat)
1P(ts
tallat)
1P(ts
tallat)
1P(ts
tallat)
1P(ts
tallat)
1P(ts
tallat)
40
tslott:
1szelvnykitltsvel
aztsvalsznsge=1:43949268=
90

0.00000275%,
5
angyesvalsznsge=1:103410=0.000967%
ahrmasvalsznsge=1:1231=0.081%
akettesvalsznsge=1:44=2.273%
egyvagynullatallatvalsznsge=97.65%
2015.02.09.
41
tvitelibitmennyisgvrhat rtke:
(p0(1)+p1(2+10)+p2(2+1024))2;
Poissoneloszlskzeltse,binomiliseloszls
hatreloszlsanp= ;
5
90
=1024*=2,33*10

1
p0=0,999977
p1=2,33*105
p2szmtsihibnlkisebb
2015.02.09.
p0=e
p1= e
42
Poissoneloszls
k
P(X k ) e
k!
.Kifejezi az adott id alatt ismert valsznsggel megtrtn esemnyek

bekvetkezsnek szmt (pldul:egy telefonkzpontba adott idszakban
s idtartamban berkezett telefonhvsok szma,vagy egy radioaktv anyag
adott id alatt elboml atomjainak szma).
APoissoneloszls akis valsznsg,vagy ritka esemnyek eloszlsa.Poisson
eloszls asajthibk szma egy jsg lapjain,egy ntvnyben elfordul
buborkok szma,egy telefonkzpontba berkez hvsok szma,adott id
alatt elbomlott radioaktv atomok szma stb.
2015.02.09.
43
Mennyisgek
1. Csatorna kapacits: adott csatornhoz a
kapacits- a binris szimmetrikus csatornval
val ekvivalencia alapjn:
Egysgnyi id alatt tlag ugyanannyi klnbz
jelsorozat vihet t, mint egy C bit/sec sebessg
binris csatornn. Ekkor a csatorna kapacits C.
2. A forrs szimblumok sorozatt vlasztja, a

vlaszts bizonytalansgt jellemezzk az egy
szimblumra jut tlagos mennyisggel, ez
lesz a Shannon-entrpia.
3. N hossz sorozatok lehetnek, n lehetsges
szimblum, p1, p2 pnN, eloszls
Mennyisgek
nN
1 = pi
pi-k a valsznsgek
i=1
Shannonentrpia: valsznsgivltoz P(=xi)=pi,azAesemnyekeloszlsa,

a valsznsgivltoz ltalfelvehet rtkek{x1,..,xi,xnN},i=1,,nN
H p1 , p2 ,..., pnN = E( I ) = pi I xi = pilog2 pi

nN
nN
i=1
i=1
Nhossz forrsegyszimblumrajut tlagos

bizonytalansga
1 n
H p1 , p2 ,..., pm = pilog2 pi1
N
i=1
H bit/szimblum,entrpia;=1/N H(azNhossz
zenetekeloszlsa)
Shannon csatorna kdols

alapttele
C bit/sec csatornakapacits,aH bit/szimblum
aShannonentrpia,Vszimblum/secforrs
sebessge
Megvlaszthate aforrssebessge; hny
szimblumotvlasztmsodpercenknt?
Mennyisgifeladatmegoldhatsga?
Vesztesgmentesen tviheteminden
zenet? Vagyisaztvittzenetegyrtelmen
rekonstrulhate.
Shannon csatorna kdols

alapttele (Shannon )
Nemlehetvesztesgmentesenmkdtetnia
kommunikcisrendszertha:
V>C/H ;
Tetszleges>0hoz kdols:V<C/H
sebessggelvesztesgmentesen
mkdtethet acsatorna,rendszer
(Ennekformlisbizonytsaalegelemibbesetre
ksbb).
A csatorna kapacits
Diszkrt,zajmentescsatorna
S1,S2,Sm ajelek
t1,t2, tm tviteliid jelenknt.
Szimmetrikuscsatornat1=t2==tm =t
Szimmetrikusbinriscsatornam=2,ajelekabitek,{ megint!binary
digit (deeznemugyanazmintazinformci mrtkegysge)}.
Kapacits amsodpercenknttvihet bitekszma.
NyilvnC=t1,hat1egszszm.Hanem,sts1 nem
sszemrhet,akkorTid alattN(T)jelsorozatotlehet,ahol
T t 1
N ( T ) 2 T t
teljesltetszleges >0,haT elgnagy
A csatorna kapacits
Alogaritmustkpezve(2esalap logaritmust
hasznlunkatovbbiakban)sTvel osztva:
1
1
1
t log2 N( T ) t
T 1
azazahatrrtkC=t
A csatorna kapacits
Intuitv:
Ktcsatornaekvivalens,haT hossz sorozataikszmaminden
Tre(hatrrtkben)megegyezik. A T hossz kd-szavak
klcsnsen megfeleltethetk egymsnak
Pontos definci:
Legyen N(T) egy csatorna T hossz, (T-nl nem
hosszabb, T maximlis hossz) jelsorozatainak szma
A csatorna kapacits:
lim log 2 N ( T )
C
T
T
Kvetkezmny:
Minden C kapacits csatorna ekvivalens a C kapacits
binris csatornval. Ezrt C dimenzija bit/sec.
A csatorna kapacits
Plda:
1. Szimmetrikus csatorna, m db. szimblum,
t egy szimblum tviteli ideje:
N( T ) m
T/t
T/t
lim log2 m
C
T T
t log2 m
A csatorna kapacits
2. Egyszer nemszimmetrikuscsatorna, t1,t2, tm
tviteliid jelenknt;(S1,S2,..Sm,szimblumkszlet;
nincsmegszortsajelsorozatra),N(T)el jelljk a T
tviteliid tartam sorozatokszmt,akkor
N(T)= N(T- t1) + N(T- t2) + + N(T- tm) (differencia egyenlet),
a sorozatok szmnak teljes sszege (amely
sorozatok S1,S2,..Sm szimblummal/ban vgzdnek)
A vgesdifferencia egyenletekelmletealapjn N(T)
(aszimptotikusannagyTkre)jellemezhet
karakterisztikus polinommal:
1 x
t1
t 2
... x
t m
A csatorna kapacits
x0 : alegnagyobbpozitvmegolds(kisgykk
elhanyagolhat adalkokatadnak.N(T)=k x0T
t
x 0T ( x 0 1 x 0 2 ... x 0 m ) x 0T

1
x0
T t1
x0
T t2
... x 0
T tm
x0 hatvnyaigyviselkednekmint N(T) hatvnyai.

lim
log
C
T
N (T )
log
T
x0 C
T linerisnvelsexponencilisnvekedstokoz
N(T)ben.
A forrs bizonytalansgnak
mrszma a Shannon-entrpia
Ahrkzl rendszermindenlehetsgeszenetvlasztsra
(sokszorismtld vlasztsra)mkdjn.Nemaza
fontosaztvitelben,hogymitvlasztunk,hanemaz,
hogymilyenbizonytalan avlaszts.
(Aszimblumokataforrstnevezheti,ettlfggetlena
hrkzlsmennyisgiviselkedse)
A forrsN hossz vlasztsaitan szimblumblegynN
elem valsznsgeloszls jellemzi.
Azeloszlsmeghatrozsaempirikus alapokon,
kzeltleg,trtnhet.(Ksbbmegnzzk az
alapeseteket).
Feladatunk:
Keresskadiszkrtvalsznsg-eloszlsok
halmazna
H(p1, p2, , pm )fggvnyt, pi=1,i=1,,m,pi0;
A fggvnnyelkapcsolatbantmasztott
termszeteselvrsok(Shannonaximk):
1.
Hmindenargumentumbanlegyenfolytonos;
2.
A(n)=H(1/n, 1/n, 1/n) H(1/m, 1/m, 1/m)=A(m), han<

m (monotonnveked fggvny)
3.
Elgazsiszably
Elgazsiszably:haegyvlasztsilehetsg,ktrkvetkez
vlasztsilehetsgbegaztatunkszt.AzeredetiH
fggvnyrtkhez hozz kelladnunkazelgazsvalsznsgvel
slyozvaazelgazsutniesemnyekfeltteleseloszlsnakH
fggvnyt.
H(1/2 ,1/3,1/6)=H(1/2, 1/2)+1/2H(2/3, 1/3)
3.
Elgazsiszably:
H(p1, pn- 2 ,pn-1, pn )
H( p1, p2 , , pn-1 pn ) (pn-1 pn ) H(
pn
pn-1
)
,
pn-1 pn pn-1 pn
ltalnos elgazsiszably:(indukcival)legyen,
i=1nj pj,i=qj,i,j=1,,m,j=1m qj=1,akkor

H(p1,1 , p1,n , p 2,1 , p 2, n 2 , , , p m,1, , p m,n m )
1
H( q1 , q 2 , , q m ) q jH(
j1
p j,1
qj
, ,
p j, nj
qj
Ttel:Az13aximkatkielgt fggvnycsaka
K pi log2 pi ,i=1,n alak fggvnyeklehetnek,
aholK<0konstans.
Bizonyts:
(i) H( ,)=1,egysgnyientrpia=>K (1)=1=>
K=1 racionlisrtk eloszlsesetn.
Bizonyts:
(i) H( ,)=1,egysgnyientrpia=>K (1)=1=>
K=1 racionlisrtk eloszlsesetn.
pi=qi/mre,i=1,n ,s qi=m, pi=1.
FejezzkkiH(p1, pn2,pn1,pn)et,A(m) sA(qi)
segtsgvel.
n
1
1
1 1
1
H(p1, , pn ) H( ,..., )- pi H(
,
,, )
m
m
qi qi
qi
i 1
n
i 1
i 1
i 1
A(m)- pi A(qi ) - pi (A(qi ) A(m)). pi 1
Azmelem egyenleteseloszlsblindulva,csoportokkpzse,
elgozsi szably felhasznlsval
A(m) H(
1 1
1
, ,
)
m
m
m
n darab
1
1
q
q
q
H( 1 , .., n ) i H( m ,..., m )
qi
qi
m
m
i 1 m
m
m
n
q1
qn
q
H(
, ..,
) i A(qi)
m
m
i 1 m
q1
q
H(
, .., n ) H(p1, , pn ) A(n)
m
m
n
qi
(A(qi ) A(m))
m
i 1
qi
m
i 1
A(qi )
(ii)Lemma:A(n)=clog2 n,aholc>0tetszleges
Biz: Elgazsi szabllyal
A(nm) H(
1
1
1
1
1
1
1
1
1
, , ...,
) H( , ..., ) n H( , ..., ) A(n) A(m)
, ,
nm
nm
nm
nm
n
n
n
mm
elgazsig
elgazs utn
EbblA(nm)=mA(n)addik, mivelA(nm)=A(m)+A(n)
A(n)=k log2 n
Legyens>0 ,rgztettegszszm, tr,snre,
m,
(1)sm <tn sm+1;
AzA fggvnymonoton,A(sm)<A(tn) A(sm+1)
[felhasznlva(1)t].
(2)mA(s)<nA(t) (m+1)A(s)ebbl
m A (t ) m 1
n re
n
A( s )
n
m log 2 t m 1
n re
n log 2 s
n
log 2 fggvnyre
(3),(4)egyenltlensgekbl,n>,
A(t ) log 2 t
A( s ) log 2 s
addikteht,
A( s )
C
log 2 s
vlasztss al A(t) C log 2 t
bizonytjaalemmalltst
(iii)(ii)lemmasaracionliselem eloszlsokraaz
(i)alattkapottkifejezsegyttesen
n
11
11
H(p1, , p n ) pi (A(q i ) A(m)) C pi log 2
qi
C pi log 2 pi
11
Ezzelatteltracionlisrtk eloszlsokra
igazoltuk.
Tetszlegeseloszlsokraafolytonossgbls log2
folytonossgblkvetkezikattel.
H( ,)=1,egysgnyientrpia=>K (1)=1=>K=1
.
1
1 1
1
K ( log 2 log 2 ) K ( 1) 1 K 1
2
2 2
2
Definici:(p1, p2, , pm ), pi=1,i=1,,m,pi>0;

eloszlsbizonytalansgaaShannonentrpia
n
H(p1, , p n ) pi log 2 pi
11
Azentrpia
Azentrpia azinformci vrhat rtke:
m
i=1
i=1
H p1 , p2 ,..., pm = E( I ) = pi I xi = pilog2 pi
Azentrpiatulajdonkppenannakakijelentsnekaz
vrhat informci mennyisge,hogyazm dbegymst
kizr esemnykzlazegyik bekvetkezett. LHospitalAplog2p kifejezsp 0esetn:
lim
p 0
p log
p =
2015.02.09.
lim
p 0
ln p
1
=
ln 2
ln 2
lim
p 0
ln p
1
p
szably
szerint
ln 2
lim
p 0
1
p
0
1
p2
66
Azentrpia
Aforrsunkakvetkez zenetetadtale:
ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncdcccdcddcdccccnnn
(21dbc,22dbn,17dbd)
H ( { c, n , d }) =
Mekkoraazzenetentrpija?(haarelatvgyakorisgadjaavalsznsg
=1, 57
eloszlst)
p(c)=21/60=0,35
p(n)=22/60=0,37
p(d)=17/60=0,28
H(c)=0,35log2 0,35=0,35(ln 0,35/ln 2)=
=0,35(1,51)=0,53
H(n)=0,37log2 0,37=0,37(ln 0,37/ln 2)=
=0,37(1,43)=0,53
H(d)=0,28log2 0,28=0,28(ln 0,28/ln 2)=
=0,28(1,84)=0,51
2015.02.09.
67
Azentrpia
Aforrsunka,,,, szimblumokat
bocstjakiegyforma,p=p=p=p=p=
0,2valsznsggel.
Mennyiaforrs,minthalmazentrpija?
H(,,,, )=( 0,2log20,2) 5=2,32
2015.02.09.
68
Azentrpia
Aforrsunka,,,, szimblumokatbocstjaki
p=0,12,p=0,37,p=0,06,p=0,21,p=0,24
valsznsggel.
Mennyiaforrs,minthalmazentrpija?
H(,,,, )=0,12log20,12
0,37log20,37 0,06log20,06
0,21log20,21 0,24log20,24=
=0,37+0,53+0,24+0,47+0,49=
=2,1
2015.02.09.
69
Azentrpiatulajdonsgai
1.
2.
3.
4.
Nemnegatv:H(p1, p2, , pm ) 0
Azesemnyekvalsznsgeinekfolytonosfggvnye.
H(p1, p2, , pm ,0)=H(p1, p2, , pm )
Hapi =1,atbbipk =0,(k=1,,i1,i+1,,m ),akkor
H(p1, p2, , pm )=0.
5. H(p1, p2, , pm ) H(1/m, 1/m, 1/m)
Egyenlsgcsakegyenleteseloszlsra,alegnagyobb
bizonytalansg eloszlsra.
6. H(p1,,pk1,p ,pk+1,,p1,pk ,p+1,,pm)=H(p1, p2, , pm ),
k, ;azazazentrpiaszimmetrikus vltozinakcserjre.
2015.02.09.
70
Aegyttesentrpia
Legyen={x1,,xm1}azelsnek leadottjelekhalmaza,
={y1,,ym2}pedigamsodiknakleadott jelek
halmaza.Vizsgljukaztazsszetettesemnyt,hogy
egybeli segybeli esemnyisbekvetkezik.
xi syj egyttesbekvetkezsivalsznsge
pi,j=p(xi yj ),
aktesemnyegyttesbekvetkezsekornyert
informci
I(xi yj )=log2 p(xi yj )=log2 pi,j .
Mindigigazaegyttes informcira,hogy
I(xi yj ) I(xi ),sI(xi yj ) I(yj ).
2015.02.09.
71
Aegyttesentrpia
aktesemnyegyttesbekvetkezsekornyert
informci
I(xi yj )=log2 p(xi yj )=log2 pi,j .
A sB halmazokegyttes entrpija:
m1 m2
H xi y j = pi, j log2 pi, j .

i=1 j=1
2015.02.09.
72
Afelttelesentrpia
Legyen={x1,,xm1}alehetsgesleadottjelekhalmaza,
={y1,,ym2}pedigavehet jelekhalmaza.Minden
beli esemnybekvetkezsemagautnvonegybeli
esemnyt.
xinek yjre vonatkoztatottfelttelesvalsznsge p(xi|
yj ). Az halmaz halmazravonatkoztatottfeltteles
entrpija:
m2
m1
j=1
i=1
H | = p z j p xi y j log2 p xi y j =
m2 m1
= p xi y j log2 p xi y j .
j=1 i=1
2015.02.09.
73
Afelttelesentrpia
Legyen={x1,,xm1}alehetsgesleadottjelek
halmaza,={y1,,ym2}pedigavehet jelek
halmaza.Minden beli esemnybekvetkezse
magautnvonegy beli esemnyt.
xinek yjre vonatkoztatottfelttelesvalsznsge
p(xi|yj ).
Mivelp(xiyj )=p(yj ) p( xi|yj )mindeniresjre,
H( )=H() H( |)=H() H( | ).
gyH() H( ) 0
2015.02.09.
74
Appendix
Matematikaikitr
Egyhrkzlsicsatornabemenetnskimenetn
megjelen jeleknemfggetlenekegymstl.HaB
jeletvettnkakkorannakavalsznsge,hogyA jel
voltacsatornabemenetn:
AnakB felttelmellettifelttelesvalsznsge
pA B
pA | B =
pB
2015.02.09.
76

Információelmélet PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Információelmélet PDF

Uploaded by

Copyright:

Available Formats

Informcisrendszerekelmleti

A forrs jelt diszkrt

azon ksrletek szma, amikor A bekvetkezik

azon ksrletek szma, amikor A bekvetkezik

AKolmogorovfle valsznsgi aximkrl:

p ( srga )= 15 +6+42+11 = 74 =1 p ( srga )

p ( kk vagy lila )= 15 +6+42+11 = 74

p ( (1 . srga )( 2 .srga ) )= 7473

msodikkk: p ( (1 . kk ) |( 2 . kk ))= p ( ( 1. kk )(2 . kk )) =

(log2m krdsselazonosthat egyelem)

b) 2cklnbz kdsz,egysgnyiid hossz.

.Kifejezi az adott id alatt ismert valsznsggel megtrtn esemnyek

2. A forrs szimblumok sorozatt vlasztja, a

Shannonentrpia: valsznsgivltoz P(=xi)=pi,azAesemnyekeloszlsa,

H p1 , p2 ,..., pnN = E( I ) = pi I xi = pilog2 pi

Nhossz forrsegyszimblumrajut tlagos

Shannon csatorna kdols

Shannon csatorna kdols

teljesltetszleges >0,haT elgnagy

x0 hatvnyaigyviselkednekmint N(T) hatvnyai.

A(n)=H(1/n, 1/n, 1/n) H(1/m, 1/m, 1/m)=A(m), han<

H(1/2 ,1/3,1/6)=H(1/2, 1/2)+1/2H(2/3, 1/3)

i=1nj pj,i=qj,i,j=1,,m,j=1m qj=1,akkor

A(m)- pi A(qi ) - pi (A(qi ) A(m)). pi 1

vlasztss al A(t) C log 2 t

H(p1, , p n ) pi (A(q i ) A(m)) C pi log 2

Definici:(p1, p2, , pm ), pi=1,i=1,,m,pi>0;

H xi y j = pi, j log2 pi, j .

You might also like