kt hp nhng phng trnh ny, chng ta c I(X;Y)=I(X;Z), v do thng tin tng h trung bnh gia hai tp hp khng thay

y i d bt k s bin i thun nghch ca mt trong cc kt qu. Mt vi i s ca tin trnh c th c s dng c lp vi bt k s bin i thun nghch ca kt qu khc. Tip theo chng ta s xt liu mt nh ngha ca bn thn thng tin cho mt tp hp lin tc. Cho X l mt tp hp vi mt kt qu gi tr s thc x v mt sc xut hu hn p(x). cho trc x c lng t ha trong khong di , nh vy bn thn thng tin ca ca mt khong t x1- n x1 l

Khi gii hn

cng gn v 0, Pr[

] cng gn bng

, khi bng 0. Do bn thn

thng tin ca mt khong th bng 0. Kt qu ny khng ngc nhin nu chng ta ngh v kt qu ca s thc bng cch khai trin s thp phn ca chng. T mt dy v hn cc ch s thp phn th c quy nh xc nh chnh xac mt s thc bt k,chng ta s cho rng bn thn thng tin l v hn. kh khn y nm vic i hi mt s thc mt s r rng chnh xc. T mt quan im vt l, chng ta chp nhn mt s ch dn gn ng. Nhng bt k s khi qut no ca khi nim bn thn thng tin phi lin quan n php tnh xp x c mong mun. vn ny s c xt t mt quan im c bn trong chng 9, nhng chng ta s s dng thut ng bn thn thng tin trn cc tp hp ri rc. Cho mc ch tnh ton v thao tc cc thng tin tng h trung bnh khc nhau, chng thng c dng nh ngha entropy ca mt tp hp lin tc. nu mt tp hp X c phn phi xc sut p(x), chng ta nh ngha entropy ca X:

Tng t nh vy, entropy c iu kin xc nh bi

S dng nh ngha (2.2.17) v (2.2.22) ta c:

Cc entropy ny khng nht thit phi nguyn, khng nht thit phi hu hn, khng phi bt bin khi thay i cc kt qu, v khng th biu din nh cc thng tin trung bnh V d 4: V d sau y ca cc nh ngha trc s gip gii quyt cc gaussian cng tnh knh truyn c nhiu. cho u vo x vi mt knh trun khng xc nh l mt bin ngu nhin gaussain thay i vi phn phi xc sut

Tham s E l gi tr bnh phng trung bnh hoc nng lng ca u vo v mt gi tr bin ngu nhin khng c lp gaussain ca cc phng sai . Mt xc sut c iu kin ca u ra cho u vo

y, cho x,y c phn phi gaussian cua phng sai theo x. mt xc sut chung p(x,y) c cho bi p(x)p(y/x) v tp hp XY cho. iu ny thun li cho vic thnh ton thng tin tng h trung bnh I(X;Y) t (2.4.27)

(2.4.32), chng ta s dng s kin hoc .

l phng sai ca phn phi c iu kin,

Tip theo chng ta xt knh u ra l tng ca hai bin ngu nhin gaussian c lp v nh vy gaussian* vi phng sai E+ ,

Tng t nh cch tnh H(Y/X), chng ta tnh H(Y):

*xem vn 2.22 Chng ta quan st thy rng, tip cn 0, th u ra y s xp x u vo x cng lc cng chnh xc hn

v I(X;Y) tip cn . iu ny l hin nhin v chng ta kt lun rng bn thn thng tin ca bt k gi tr no ca x phi l v hn. Ta thng quan tm n nhng tp hp chung cho nhng kt qu ri rc v mt s lin tc. cch d nht tnh ( o) xc sut trn cc tp hp l ch r xc sut chung ca cc kt qu ring bit ly trn cc kh nng thay th xy ra v xc nh mt xc sut c iu kin chung trn cc kt qu lin tc c iu kin trn mi la chn c kh nng cho cc kt qu ring bit. v d, nu kt qu x nm trong khong ( vi mi s thc y1 v ) v kt qu y thuc tp hp s thc, ta c vi v . Phn phi xc sut khng iu kin cho kt qu y l

Xc sut c iu kin ca mt bin ngu nhin x c cho bi mt bin ngu nhin y, vi y1, pY(y1)> 0 l

Thng tin tng h v thng tin tng h trung bnh gia x v y c cho bi

Thng tin tng h c iu kin c nh ngha tng t. Lin h vi phn 2.2 v 2.3 hiu thm v tp hp ri rc v tp hp lin tc. 2.5 thng tin tng h cho cc tp hp ty Nhng tp hp ri rc c bn trc v c tp hp lin tc vi mt xc sut xut hin, xt ht tt c cc vn c lin quan n k thut ca l thuyt thng tin, c bit nu chng ta s dng mt s thao tc ng n c gii hn gii quyt nhng trng hp tng qut hn. Tuy nhin khi qut cc nh l chnh xc m khng c nhiu trng hp c bit v nh mun. phng php gii quyt

vn ny cn c l thuyt o lng v khng c xt trong phm vi bi ny.*Trong phn ny, chng ta s trnh by tm tt nhng kt qu cho trng hp tng qut c th c hiu m khng cn l thuyt o lng lm nn tng. Nhng kt qu ny s c s dng trong chng 7 nhng ch cn x l cc knh truyn m khng th m t trong s hng ca mt xc sut. im chnh c thc hin trong phn ny l cc nh l v cc phng trnh c nh du bng du hoa th trong ton mc 2.2 v 2.3 V l thuyt o lng, mt tp hp X c xc nh bi mt khong xc nh , mi mt tp hp cc s kin l mt tp hp con ca khong cho, v o xc sut trn cc tp hp ca cc s kin. Tp hp ca s kin c nhng thuc tnh bt k l hu hn hay m c hay s giao nhau nhng s kin ny v s kin khc v c s b sung cho nhau. o lng xc sut c cc thuc tnh m mi s kin c mt xc sut khng m.khong tp hp c mt xc sut v c kh nng ca bt k hu hn phn chia hoc tp m c ca cc s kin l bng tng xc sut ca cc s kin ring bit. i vi tt c cc mc ch thc t, bt k tp hp con ca cc phn t m chng ta mun xt l mt s kin v c mt xc sut. Mt tp hp chung XY (hoc X1... Xn) c quy nh c th trong cng mt cch. Cc phn t ca khong chung l cp x, y, v cc s kin l tp hp con ca khong cho. y l mt s hn ch khc, tuy nhin, nu A l mt s kin trong khong gii hn X v B l mt s kin trong khong gii hn Y, sau tp hp con chung AB tng ng vi x trong A, y trong B l mt s kin khong chung. Cc o lng xc sut PX v PY ring bit trn mt tp hp c lp c nh ngha trong quan im o lng xc sut PXY chung. V d, nu B c thc hin ging khong khng gian Y th

Trong nh ngha khc xc nh cc thng tin tng h trung bnh gia hai tp hp, trc tin chng ta phi xt v phn chia mt tp hp . Mt phn vng Xp ca mt tp hp x c nh ngha l nh l mt tp hp hu hn (A1, A2,..., AK), K 1, ca cc s kin h tr duy nht l khong khng gian tp hp. V mt vt l , phn vng c th c gii thch nh mt quy lut lng t ha cc kt qu ca mt th nghim. Chng ta c th xem xt Xp l mt tp hp c lp vi cc phn t A1,. . , Ak v xc sut PX(A1),. . . , PX (Ak). Cho mot tap hop chung XY,
*Nghin cu Pinsker (1964) l lun im ca quan dim ny. Ghi ch ca ngi dch, bi Feinstein, cung cp bng chng ca mt s kt qu ca ngi Nga trong lnh vc ny khng c ni nhiu trong bn dch. + tuy nhin,trong ton hc, ngay c i vi mt tp hp n gin nh khong n v vi mt mt xc sut thng nht, n c th c xem l c tn ti cc tp hp v l m khng c s kin [nghin cu halmos (1950) p.67; ci m chng ta gi l mt s kin y l mt tp hp o lng c]. mt Xc sut khng th c gn cho nhng s kin khng tn ti m khng vi phm cc tin xc sut.

c th chia khong X vi A1,. . . , Ak v khong Y vi B1,. . . , Bj thu c mt tp hp chung XpYp ri rc. nhng xc sut chung ca tin trnh c cho bi PXY(AkBj). Thng tin tng h trung bnh gia hai tp hp XY c nh ngha l

 y, supremum c thc hin trn tt c cc phn t con ca tp hp X v phn t con ca tp hp Y. By gi chng ta xt nu phn X hoc phn Y tip tc phn ra, I(Xp;Yp) khng gim i. c th thy c iu ny, ta xt hnh 2.5.1, hnh ny trong l tiu phn vng vi v l mt tiu phn vng ca trong , trong ngha th s kin . ta xem xt trong phn tch ca ta hnh 2.3.2,

tuy nhin, th , v mt vi i s s dng nh th no s kin trong phn vng 1 l mt tiu phn vng. Mt vi i s ca X dng trao i vai tr ca X v Y.

T kt qu trn, ta thy I(X;Y) c th c hiu nh l mt gii hn ca mt chui ca cc phn vng chnh xc hn, v do cc tp hp ri rc v cc tp hp c mt xc xut, nh ngha (2.5.1) l rt gn ca cc nh ngha c a ra trc . Khi c chng minh l khng m, t (2.5.1) th I(X;Y) l khng m. Hn na, cc tp hp X v tp hp Y l trnh t c lp nu v ch nu tt c cc tp hp phn vng theo trnh t mt cch c lp v do I(X;Y) =0 nu v ch nu X v Y c thng k c lp. iu ny c chng minh nh l 2.3.2 i vi trng hp tng qut.

Cho mt tp hp XYZ, chng ta cng nh ngha tng t

Trng hp supremum trn tt c cc phn vng ca khong X, tt c cc phn vng ca khong Y, tt c cc phn vng ca khong Z. c mt vn nh pht sinh