Se“poate scrie acum: i % o]fo o 1] fo o P(X,Y)= P(X) P(Y/K)= Aid aos | be Lo ehia. 2a | lee om He Repartitia de probabilitate a cuplului (X,Y) eate deci: 5 ; Ou relatia py), = od + se calouleaz’: 5 Pa al Pape th Pajo = OF Baye StF Pit $s P39 B+ Se poate acum calcula: ana HX/Y)= - ey P43 24 Py/y = 0,45 Ditt/monead extrast. G.6.5D) Un canal de transmisie se carasterizeazk prin urmitoarea matrice de zgomot: 0,9 0,2 voip. ee] 0,2 0,8 Le intrarea canalului se aplick simbolurile x, gi x, ou probabilit&tile p(x, )= 0,7 ei p(x))= 0,3. Se cere: a) entropia la intrare; b) entropia le iegires ¢) entropia intrérii gi iegirii, reunite; > 4) eroarea'medie; } e) echivocatia; f) transinformatia; : &) cantitatea de informatie ce se pierde la transmite- Fea unui mesaj format din 100 simboluri; h) informatia totald receptionat& fn conditifle punctu- lei g.\aueie: : : a) H(X)= - D> plz) 12 plxy)= -(0,7 14 0,7 + 0,3 14 0,3)¢ isl = 0,8813 biti/simbol. 2 db) E(Y)= = 2B p(y;) 1d ply;)- jal Matricial se poate scrie: 0,7 ° A fog “| fen 0,07 9 0,3 | L0,2. 0,8 0,06 0,24 Cuplul (X,Y) are deci repartitia de probabilitate: P(X,Y)= P(X). P(Y/X)= Se poate calcula acum: E(Y)= -(0,69 1d 0,69 + 0,32 14 0,32: = 0,8932 bifi/simbol, ¥ 2 2 ©) EOX,¥)=- SY) Spy; 14 pyj.= 164261 bips/eimdol. ft yt Boy a) HOY)= = SD pas aa Pig! isl jel Matricial se poate scrie: P(X,Y)= PCY). P(Z/¥), saa ° Py San 0,63. 0,07 0,69 0,06 0,24 ° 031] | Prye Pave}. Se obfine timed0,913 0,101 rare-|| ; . | 0,193 0,774 Deci: H(X/¥)= 0,5359 biti/eimbol. 2 e) H(Y/X)= - D> Sn 14 ayy = 095478 ditt /aimbol del jel * f) Conform definitiei: 2 Tm)= s3 Diy 24 Pat = 0,3454 biti/simbol isl jel ae me Mei simplu, se poate calcula cu una din relatiile: f I(XX)= H(X)- H(X/¥)= 0,8813 - 0,5359 = = 0,3454 biti/simbol; I(X¥)= H(¥)= H(¥/X)= 0,8932 - 0,5478 = = 0,3454 biti/simbol; 2p H(X)+ H(Y)- H(X,¥)= 0,8813 + 0,8932 - 1,4291 = 0» 3454 biti/simbol. ge vede agadar ch sint verificate gi relajiile dintre entropii. J g) AI = n-H(X/Y). In cazul nostra n = 100 gir ALI = 100.0,5359 = 53,59 biti h) Informatia totald receptionaté va fi: I = neI(X¥). Se obtine: I = 100.0,3454 = 34,54 biti.— plo 9) loge Al alte) — Pl 92) logs A( vel) = =~ ple) Ply logs (gals) + Aloe!) logs Aloe!) — — pls) [p(vu*2) logs pC yi/2) + P(yal¥2) loge p( ¥2/ ¥2)) = = — p(n) (2/3 loge 2/3 + 1/3 logs ial (x2) (1/3 logs 1/3 + + 2/3 logs 2/3] = = [23 loge 2/3 + 1/3 logs 1/3) [Ate) + PC42)) = = — 2/3 logs 2/3 — 1/3 loge 1/3. H(Y[X) = — p(*y, 31) loge Pla) %1) — PU, Ya) 62 8A Deci H(Y/X) nu depinde de probabilitifile simbolurilor de la intrare. Rezult; C = max H(Y) + 2/3 logs 2/3 + 1/3 loge 1/5. pled Dar max H(Y) = 1 bit gi se obfine cind p(x) = A(y2). Din aceastt conditie pled) gi finind cont c& fol) + Pola) = 1, se obfine un sistem de dona ecuatii cu. dou& necunoscute: a { polx1) 2/3 + pol%2) 13 = pols) 13 + pol¥2) 2/3 Pol%s) + Pol¥2) = 1 f din care reaulta: pol) = Pole) = 1/2. }) Redundanta canalului este, conform relafiet (1.51): e R(C) = C— UX, Y) = 0,082 — 0,06 = 0,022 bit/simbol. Pentru calculul eficientei canalului se foloseste relafia (1.32): Wey os ta a Matricea probabilildjilor reunite inlyare-iesire asociata unui canal de trimismisiune esie de forma: 1/4 =| P(X, ¥) =[i4 1/4 Se cere sé se calculeze: a) entropia cimpului de Ia intrare; b) entropia cimpului de la iesire; c) entropia cimpurilor reunite; d) eroarea medie si echivocatia ; ¢) transinformafia si capacitatea canalulii.atropiei’ A(x) st hecesare probabilittfile p(s,). Acestea se calculeazi din matrieee probabilita}"or cimpurilor rents finind Seama ci: ( \ 2 Ale) = 2 #0 9) EL TT TT Prin urmare, p(x,) se obti P(X, Y), Rezulti: Aplicind relafia (1.1) se obtine entropia: A(X) - 2) Deoarece 1/2 loge 1/2 — 1/2 logs 1/2 = | bit/simbol. reaulti ci p(y,) se obi P(X, Y). Reauiti: Ply) = Als) = 1/2; ACY) = — 1/2 logs 1/2 — 1/2 logs 1/2 = 1 bit/simbol, ¢) Plt 94) = — 4-1/4 logy 1/4 = = 2 bit/simbol. 4) Entropiile conditionate se vor putea calcula pe baza rezultatelor ante- tioare, aplicind relatiile (1.11) $i (1.12) A(Y/X) = 1 bit/simbol; H(X/Y) é) Introducind valorile calculate ale entropiilor H(X), H(Y) si H(X, Y) fn relafia (1.13), se obsine 1(X, Y) = 0, astfel incit capacitater reaulti ‘din (1.17) ca fiind 'C = 0. dit/simbol, O Coneluzie. Acest canal are pe mitg informatie. atii foarte mari si ca urmare nu trans- Dowé canale binare cu grafurile de leagé tn cascadé. Se cere: a) graful de tranzitie al cana cadiét a celor dowd caiale: b) valoarea lui g (0. matricon dinar simetric; ©) capacitatea canalului echivalent, 22 trancitie din figura 1.11, a se dului echivalent obfinut prin conectarea in cas- (1.18)). pentru care canalul echivalent esteoS . Se. ; a7 AP Ye mel Fig. 1.11,a. Grafurile de tranzitie ‘ale celor dou canale. Solutie a) in psimul rind se completeazi probabilititile care nu au fost precizate in grafurile de tranzitie din figura 1.11,a. Completarea se poate face tinind cont ci D> p(s,/) = be In acest caz: Alvi) + p(ye!) = 1, de unde rezulta: Pl sel. Dap un rationament similar se deduc: % Pvi! x2) — Ply2l x2) plwi/za) P(wr!z2) = 1 — plwelz2) = 1 — 9. Conectarea in cascada a celor doua canale este prezentati in figura 1.11,b. Matricea de tranzifie a canalului echivalent se obfine prin inmultirea ma~ tricelor de tranzifie ale celor dowd canale. Deoarece . Conectarea in cascada a celor dowd canale. 0,8 0,27, 0,5 0,5 tis 0,7 2 ll-¢ @ Fig. 1.116 rezulta: 0,8 0,2] 0,5 0,5 THT =l03 07 17g toi sau inca: 0,6 — 0,29 0,4 + 0,29). 85 — 0,79 - 0,15 + 0,7¢6) Conditia de canal bi 1.20), tric este, in ec ‘ormitate cu matricea ceea ce conduce la co de unde se obtine: Prin urmare, matrices 057. 05 simetric este dat’ de formula (1.21), ©) Capacitatea unui c -astfel incit pentru p 82 0,5 + 0,5 logs 0,5 = 0. al de transmisiune, al ctrui graf de sane in figura 1.12, se caracterizeard prin “comot: % ey ) = [12 WA 1/8 1/8 7, : 1/8 1/8 1/2 1/4 § capacitatea acestui canal. 6 as Se foloseste relatia (1.17), Canalul din problemi are o structura de zgomot simetri- yh, a: * calculul va fi relativ simplu. Se calculeaz’ meme ates as Put croarea medie dati de relatia (1.9), ‘ranaitie al canalului. H(VIX) = —3> pls) > 99) loge 6/2) = =~ P(m) [1/2 loge 1/2 + 1/4 logs 1/4 + 2.1/8 loge 1/8} ~ — (m2) [1/2 log. 1/2 4 1/4 loge 1/4 + 2. 1/8 logs 1/8) = == [2 logs 1/2 + 1/4 loge 1/4 + 2-1/8 logy 1/8] [p(x1) + P(e =—[I/2 loge 1/2 + 1/4 logs 1/4 + 2. 1/8 logs 1/8] = 1,75 bit/simbol, Se constata ca H(Y/X) es -a calcula capacitatea este sufic , Ceea ce inseamni ck pentru alculeze max H(Y): iG ax H(Y) — 1,75; ) Folosind relafia (1.2) se obtine: C =log, 4— > bit/simbol.‘ie La than unu canal dinar de Tiaciaiearare uo Bret ainde Luk o piel: Wincuamle+d adtistieg om *shbte Cae sles agorme babu dix Canad a MowialS 10% autel Subo lus “Strud ems rude lurk O xd % ae + in proper fe de A/F M oF 3 ane hooe Rudele SB rec urds de ON a) a ee alas bres a aiatermufu: de tates Latrieue by caudloles de taf. obkmrule fx teriwe unui tot w Cartrlate, mudlte de toformate a sue’ (HO) ©) redunda ale a tfrectale sur se a debbie he ee fotmadse tawrrais ut pus eral 0) aferen te weet all dosha @) P= Lp RIT Kier (sone Regaee Re bear TF PUYA)~ 2 ay “Le a EOPBR.S Aun aa! co Teas (Yn) = pF °] onset art al EAN = nef ot ages air Joew otal o, PUD = POPlYdefoa oF [O° SL] -Toan ose ot 09 et 0,02 POI) = “Bu fc = Osh ace Fy = Boe _ 4 eeiby) = — dq, = - Idea = 1.727 Liki Hx)= - = P Lda. = = (0,2 boa 4.93: Mo, ¥)= O38 LB fou bred Bebe > RB, = DOH HOR) = idem = Commer celus tances Pe = b=. O88 = 012 L/min Lol — ntducdou date $e fuss i Seo Osea: As) ws tfoeceade Wuhre’ ~ ROS an 28% ‘le = w= Oe oly T= Tey —> debhtl de ef M= lo® aadb/ree { Tey = Hy -H U/x) HUY) = — Loan kdosh + 66 td cc) H yA) = — play - G-p) Lal a) ~phiges Fray= — {oan kloan +o, c¢ thoce) + ot Mot 40,9 dos = ose Lb/a bel ae (X/4) = 10 0, 456 = noe Sob /aamabed nec Ca max (T054) ) 6) = hit a a oe = due Cone = ap dp € le >) fd i bes