Parte. © SoReENTI PI PW FORHAZIONE BOD eee ees eeeee ecco see lagen del oere de TRasreissiong Eb ELAR ORAR ONS AUHCRICA DEL GECNALI /coMVMCARLOMI ecerrrelewe Ad. 2016-17 (son) Qeed. Fransceres Ath Prenatpr enieesd Capitolo 1 Sorgenti discrete senza memoria {a questo capitolo analizzeremo le sorgent tempe-discreto a valor discret ¢ allabeto fnito(sorgenti discrete). Tule schematizazione quella pt tipica costtnise i principale modellodirferimento usato nei moderni stent a 1.1 Sorgenti discrete Si assuma che la nostra sorgente $ tompo-disereto emetta ad ogni istante ‘i tempo un simbolo appartenenteallalfabeto sorgonte AM (04,0) (ay ‘orvero Slt)) = aj, j= 1,...m. Si supponga che a sequenza Sits}, 1), S(t), $(4), S(t), a2) sia denotata per semplicita nel seguente modo S{-2], ${-1, Slo si), 572), as) {lovesi® want ilsolo argomentointero a indicare gli stant di tempo (ai noti tn diferenza tra le due furioniS()e S|). Anche se, come gia antcipete nll maggioranca dei sitemi analiza la spacintura rag ita dl feos Ista enibel. 2 u CAPITOLO 1, SORGENTI DISCRETE SENZA MEMORIA ® uniform, tale notazione consented svineclarsi totalmente dalla associ azione dirtta alla soquenza degli stant di tempo. Nel caso di spasiaturn Uniforme, la sequenza degli inter da intendersi come sxquenza desi stant ai tempo normalizzata, Si supponga che la sorgenteemetta simboli in manira indipendente, ¢ ‘he talisimboli vengano generat socondo la distribuzione di prebabalits T= (Pipa Pa} aa) Lasequenza {5[} & detta td, ovveroa simboliindipendente identcamente dstibuité (srgente disereta senza memoria), 1.1.1 Il Bit-rate ‘i supponga che la sorgente emetta simbol a interval di tempo regula aente spaiati di 7 second, Ad ogni stant di tempo la sorgente ee ‘cezle secondo il suo meccanismo alestorio uno di n simbol. Si definiee bit-rate 0 tasso binari, © tmo binario, ofreuenza di eira della angen B= PE tt/se as) ba definisione deriva dal fatto che se Vindice corrispondente al simbolo fnesso dowesse essere rappresentato con una sequetza binarin, avrebio bisogno di logan bit. Ovviamente logan non & necesatiamente ua ri, ‘ro intero e una reale associazione ad una stringn binaria richiederebio Fogsn bit, dave i simbolo fx] indica Vintero immediatamente oe, periore az. In tale caso utillzzando b bit, non necessaramente tutte le 2 siringhe binarie sarebberoutilizate poiché 2 > n. Pertanto ala deftsrone bit-rate non necestariamente corrisponde una associarione ad un eedicg binario. Inoltre, va menzionato che il bit-rate solo impropriamente minus HentitA di informazione emessa dalla sorgente. Inftti, come vedsemo nel seat, ® necesario tenete conto anche dela cstribuzione di probabila det ‘Simboll per quantiticare rgorosamente Vammontare di informazione emeca alls sorgente nol unit di tempo. Exemplo 0.3 Si consderi di nuovo la srgentebinasia dell weempio 0. 1 bie ime eres in maniera inipendente e secondo la distelbuzion a rotating 1M bitrate & B, = 1/7 = 10° bit/see=IMbit/we. Potch In itriburione det due simbeli non > uniforme nella sequetan ¢sarane fe ‘is pit I" che “0. Vedrema in seguto che ln definiione comet dt wlocedeacnset, S 41.2. Ib CONCETTO DI INFORMAZIONE. 18 1 informasione, pit propriamente che il bit-rate, tiene conto anche della dis {sibuxioe a probabilita sui vari simbol. Veremo anche che quand i shay sono equiprobabil led definiion eoucidona Esempio 1.1 i consderi uno sorgente che emett simboliappartenenti al ale fabeto A= {1,2,8,4,5,6). I simbol iano exes a interval regula dt Ts OG ‘condi, La fequenza di simbolo @ R, = 1/ = 2 simboliface Il bicraee B= loea(0/05) = 6.17 bit/sce. Se foaw necessaria tna rele amesrions og tna sequenza binaria, avremimo bisogao di = [logy 6] = 3 bt, con de aeabat ititzzat. In tale caso la sogente dopo la astociazione (codifen) natn 8 it/see. eee eee 1.2 Il concetto di informazione Un sistema di telecomunicazione ® deputato al trasporto del informazione fra una o pid sorgenti¢ dei destnatai. E' nectsatio pertanto cape ose intendiamo con il termine informesione, ovvetotentare una deBinice tatematica che quantifichiInformazione generata da una sorgenteo cecia trasportabileda un canal. Tali concetti sono di fondamentale importance estituscono il cuore della tori dellinformazione. La totia mira aeons tiicae in termini matematic Ventita di cid che ® realmente generate dalla sorgente ein che misura eid & trasportabile da un eanale eal ‘Partiamo da un esempio. Consideriamo una sequenza di carattri dell olfabeto, EE’ Iotuitivo pensare che tale sertto non traspottaalcinainformasione ve le ‘setuenza ® ripetitiva eprevedibile. Diversamente potremmo dive se le cone Surazione dei simboli non segue uno schema prodeterminato, tani toon avativa o impreveitile, Come cai limite si pens ad unn sequenzs pe, biltd concentrata tutta su un sottoinseme di simbol, enerano mens iar ‘mazione che sorgenti meno prevedibiie pi uniformemente dstibuive, Le Parole incertesza, imprevediilt, informazione sono da considerare snag, {ml nel contesto della Teoria dellInformazione. Tali dee seranno trclons {s defincont matematice nelle defnizion di autoiormasion ecnbvoneean 6 CAPITOLO 1. SORGENTI DISCRETE SENZA MEMORIA | | 2) P T Figura 1.1: Il grafico della autoinformazione Z in fanzine dp 1.2.1 Autoinformazione ‘Consideriamo una sorgente disereta con alfabeto {e125 dg} © dis- ‘ebusine li probabil = {pp Py). Denotando i sinbolo envaeo dalla sorgene con 5, dcemo che ammontare di iafrmaions pungent dlls otervazione del siboo a, overo quando $= a,b date dalle oe tvinformacione Ta) dfnita come 2a) = eg(2) = — log, (19) si misura tn bits il logartmo & in base 2, mente i misra in Nat se iogartme ® in base naturale" Si noi coms la autenfrmasone ecece taal smbolo in sa slo fusione della robmbabiitssaccta sale simbolo e qund indipendente dale eticheta 9 al nome ad ees nese sto. Pertanto adotterennintereanbiabimente fe nla Ta) oT Figura 11 mostra i grafico della funsione Zip) = ~logep La dedsakny saz alleproprit del logartmo, @ particelarmaate tgprominte nes sods eSeguentipropeita Propricta 1: Zp) 2 0 poiché 0 < pj < 1. La aservasione di un Simbolotrasporta sempre una informazione postivae mal una pordite, Zp,) sem < py. La osservazione di un evento meno Probabile trasporta pit informazione di un evento pit probable, ProprietA 4: Z(p..p5) = Zp») + 1(p)) se a, € a; sono i risultai di due ‘sservazion|indipendenti. Dalla osservazione songiunta di due event {ndipendenti si guadagns la somma dellinformazione delle duo, Pertanto,allinsieme dei simboli di un alfabeto sorgente pud essere as. Sociato insieme delle autoinformazioni (200) Tp2).Tpa)} an Le prove delle propria sono Insite letor per exerci. Ea ot tengono immediatamente della dfione di autoiformasion e dalle poe Prieta dal logeritinn ee sem 0.8 Torna la segunza bnarin dd espn Pic: poke Dis asodte ide sino ono It (03,07) Te runner ey €2().20) ~ loa30/3, 09, 10/7) = (174.083) mine he come i 0° eke # meno patie iinet. Set ssl eases ca sauipobabi nero f= (1/2,1/),wromme mt (ZU)L0)) ee) a pal infoasine pation it prensa acmplo 1.1 Tosamo al sempl dela ogee de emet siol dal aabeco A= (12.54.56), con probabil miorail~{1/6,1/6-1/6), Le mee ferns son (24) 11) -nF(4) = Noa hg 66) (250.299 250) ‘it Opi sinbolo rapt an pop das it, eee esas ae eet 1.2.2. Entropia di sorgente Se valutiamo la autoinformazione media di una sorgente 5, abbiamo (5) XS) Stee = - Enon. (19) Tale quantita 2 detta entropia della soryente e rappresenta la informazione ‘mediamente trasportata da ogni simbolo, Si nti che Tentropia dipende sole ecome la probabilita ¢distribuita sui vari simboli. Pertarto adottereme ieprecate 18 CAPITOLO 1, SORGENTI DISCRETE SENZA MEMORIA ‘seguito entrambi le notazions (Il) e 4(S)? Definendo un vettore (colonna) elle probabilita dela sorgente come (P1P2 Pa), a9) entropia pud essere caleolata mediante laespressione matricale H(M) = "log, ), (1.10) ‘dove (logs r) @ il vettore(colonna) del logaritm degli element di a3 Lrentropin di sorgente soddisa le sequent propiietd: Proprieta 1: 2411) > 0, Proprietd 2: 241) = 0, se ¢ solo se py = 1 per un qualunque h, € tutte le altre probabiita sono mulle. ‘Tale situazione eorisponde ad luna sequenza cert e costante dol simbolo aye pertanto non fornisce alcuna informazione, Proprieta 3: (11) = logan, se ¢ solo se 4 simboli di soryente sono exuiprobabili (py = 1/n,i=',...n). Tale valore rappresenta limite superiore per Ventropia della soryente discret, 74M) Sogn VT (ny Quint fo distribuzione uniforme ® quella a massima entropia, Propricta 4: L’entropia & una funsione concava di I. entroplatermodionnica no da Shan ll er dln frmacione nla fan ol ee, ‘Shannon trae piavone du ruta damental sulle erlang i Pett da ona idea Harty, ch nel 1990 per prin isn Mnfomaions dl cag esc ‘ome ogi dla carnal dl atiabeo.Lextopi “ibrtasonae’ ga eben, ‘ub ese studiata come una deiisionetatematca nutans sella {erzarione dele sorgent lator, mn tito deg interes c fe tore. Le anlage ta tomodinaniea« inforarone somo di heen aac {eos in quanto sembrano frsive una sxpreentevnione ucts dale Renn deamen. 1.2. IL CONCETTO DI INFORMAZIONE 9 Figura 1.2: La propreta In <1 ~ Prova delle proprieth 1-t: Propieth 1 « immodiata conseguenza della poe ikvith delle autoinformazion det vai sib. Anche Proprieth2 ¢inmdhoey a crwrva che ploga 2 & zero st « solo se p= 0.0 0 —1 = 1. Per peoree Proprieta 38 necesario sare la propretA del lgavtnno naturale Inr<2-1, £30, (12) dove Vuguagianza vale solo seo slo se 2 = 1, punto in cul la retta che cate {usc i mite superioce, tangento al lgartio, Il grafico dl Sur 1.2 della funaione logaritmo ¢ dll etta mostrano ln prope, 8 considerica quindl ton itrbusion tl probabil = (p4.P2,.u99} €Q = (QiQa,-ts), ela soguente ‘spresiione a= Fal & (3) Pessando al logritmo naturale e usando dsuguaglianea (1.12) dimostiamo che a 0+ > 0. Dalla duinone th fanione conve, per quliave coppin i al 0

0 omiand saved fssumo che = {pnsrah © = (ust) es de pom dae Sabb che Een +0- son Ons Oe) AS alow +2) adee, a Ts) Ovwero (AIL + (1 A)) = a¥etM) + (—ayKCQ), (19) cle mosten In concavita di 4. A, Bsempio 0-8 Torniam alesempio della sequenca binatia, Sela ditbuaione ‘dle probablta& T= {030.7}, abbiamo che Ml) = 174-03-032.07 08 tat Se la distibusione delle probeblitA® unforme Fentopia divnta Hill) = 1-05-4105 = 1 bit. Si noti come la informasione matia sia maggioe nel aso eauiprobabil (In entropia di una sorgente binaia sara pit specticamente ‘analiznta tel soguit). Esempio 1.1 Nellesempio della sorgente con alfabeto probabil uniformPree 41.2. Ib CONCETTO DI INFORMAZIONE a 1.2.3. Sorgenti a simboli equiprobabili Un caso tpico di sorgente ® quelle a simboli aventi una distibuzione di robabilitd uniforme. In tale caso Tentropia diventa semaplicemente qn) logan (1.20) Abbiamo gi visto da Propreta 3 come tale sorgente, owero la distriburione luniforme, sia quella a cui cortisponde la massima entzopia. Va notaty come questa espressione sia suscettibile di una interpretazione incitiv: Vinformasione emessa da una sorgente a simboliequiprobabil part al nu ‘mero di bit (non neccssariamente wn intero) necessario a reppreseutare tutti { simboli dlValfabeto con un codicebinario, 1.2.4 L'entropia di una sorgente binaria 1 caso di una sorgente avente un alfabeto binatio, merita una attenzione Datticolare. L'alfabeto sorgente sia A = (as, aa} e le peobabilita comispon, ‘deni sino IT = {p,(1~ )}. L'entropia della sorgente ® lp) = ~plogap ~ (1 ~p)1oga(1 —p) (1.21) (la notazione 1p) riflete il fatto che nel easobinatio basta un solo parametro ‘specifcare Ia distribusione di probabilita). Figura 1.3 mostea andamento

sereenne ) Tis n sistema di conmuncazione & spesso necessario trasformure la strattara ‘Alun alfabeto in un alto alfabeto ni fini di otteners delle rappresentaziont pub effcientio pit adatte al trasporto dei simboll, Tale cperazione, detta ‘odifca, consste nella trasormazone dun alfubeto in un altro allabeto, tactic di dimensioualith diverse, dstto alfabeto dl cdi ‘St parla el eadifa ih sorgente, quando a simboli Wi sorgante vngeno ‘ssociatl altel dbo apcondo eriter di flea dertati soo dalle caratter- istiche della sorgente. ‘Tipicamente, quando un sorgente di informazione meat caratterstiche ol ndordarsa, la codifca di sorgente tira a ornire ‘una reppresertaione jis compatta dellinformazione (compression). Si Datla di compressione senza perite quando la reostrusione ottenibie dalla sSlecrliien coincide eattamente can od che ¢ stato generato dalla songeate Diveruumente, si parla di compreorione com perdte quando la reestrusione fomita dal decodifietore von & exattamente coineidente eon Fingtese det codificatoee (auche se tipicamente abbastanas fdele). Nelle appicsaioni,2-=° -sisoua-eutrombé situsziont in cul & nscessario utizare una. codifie sexza perdite « casi in cul @ possibile aewettare dele degradacio, Una codifea che tee conta dello caratteristiche del canale & detta end ‘fea d canale. Tipicamente, una codfica di canale mira w intodurte le opr Portuns protesion ai simboli tomes emtio le ditorsoni (errri) dovate al canale, generalmente inafcabile, La coviica di canale consist princi ppalmente nels introcuzione di ridonsanza “ud hoc” ai fini di ottemere delle Siproduzion all usetn dol scevitoc ropliche della songente che sian le pit feel possibilt ‘Una coditiea che iene conto di entramba sorgentee canale &etin endficn evagianca sorgete-anale Hospotucon: 80 CAPITOLO 8. CODIFICA asl ye Nel seguito dt questé expats simrena discutert a cn di sorgente, fimandando la coifica di canale ai prossini caprtolie la codon ‘congiunta songente-eanale » succesiv: approfondiment 3.0.1 Definizione di codice Uma onlifer# una operizione che associa due ism di simboll. Pit for- malmente, dato un alfabeto sorgeate A, un eodice C & uno applicuzione st ‘A che assume valoe in wn alto siete B ditto alfabeto dh cies Co A= (as.ta. 504} = B= {basta ovty) wy Lecardinaliti.n ¢ dei due alfabeti possone essere diverse. Anche I asuo- ‘laeione tra gt ekment det due afabeti pub non essere biunivoea. Inka € ‘posible defini codict non bimnivock arehe ve la situazione pi comune 2 quia per cui n = meh aswoeasioned perfttameute reversible. La fiers 3.1 mostra alcuni code in forma di graf, 1 coded Cy e Cs sono biunivoci in quanto la associaione irgressouscita non ® ambigua, si ix codifcn che in decedifea. I codive Cy @ univoe in codifien wn xow it decedifien: da un simbob delValfabeto di codice noa & sempre pessiile astociere 1 simbolo dlelVallabeto sorgonte in maniem ualvoca, H viewers avi nel cotice Cy incu In dreodifien 9 univors, a dfernea della codfin, Beempio 3.1 Un codieeC conse wlla seguette corinne del timer inter dal m6, nse lottoe dllalibeta cA= (1,2 5,0} a.t,etheS) (32) 1 oadiee & iaaiveeo, Esempio 3.2 Un codiee¢ cosise (BED) dat numer inti da On 7 trascriowe Ia callee biuare deste Cia = (041,28,4.50,7) {00n, oct, 010, 011,100, 101,120,111} (33) Anche in curs cas ln ssocaaione& binnivors, Esempio 8.8 Un cotice¢ canst rll seyuente associovine caratterstinghe bimnie Ce Am [ebiedse) B= {0,01,0100,011,311) (ay Dente # oaaivec.Prbustees a oh by a eee 4-4 a ae tis ey os mw % ie 5 % es Figura 31: Esempi di cost in forma graica Esemplo 3.4 In codiee ASCH (Americ Stuart Code fer International Intor- ‘Shang wo det prio esa dicots porceumcacione tm cermpter, Eas fv adotzaonel 1968 ¢ ol ageirnate nel 1967. voce nella awoeavione de 128 canter osteo in tabla 3.1 delle sringhebirarieds 7 bit. Liusime di arate include le lettered nsbeto ulusece miniscole,e aunt caatteri special, La tabella st lege msoeiando se egtun detearatten In strings it lstifonta dala rig «dalla colon corsaponde (ad eum al crates "G* ‘a usocata la strnga binaria 1000111) St tatta ian endlen ron = m = 128, covviamente biunivoeo. Ne sister mere viene qualche vote agguato sete bit dell paola eodice mn ottavo bit (nn ripartco in tabella}, calenata come bit aa ea or ht pr ‘leet Sela pacth &dinpar at adotia le amociasione oppent (i ‘oxo det bi pith sak pi erent lpromtn cata), Soci cane dopo Is inteodusicue del bit pats IT code &bivmivoce con m= m= 28. In squsto caso le parole delfalfyeto di cdice sono string binare dl lumgbezza 8 soko 128 delle 24 stsinghe binare 6 bit yeagon wise Bsempio 8.5 Un esompin interested code, pogettato da “male natura” ft eadice genetcr. Le cll deg orgasms viens sintetizzano ie loo eaten proteiche eamite aitNA prelevando Hnfermaskoe cal DNA. La tmaccisionePrlesonsy 2 CAPITOLO 3. CODIPICA ot ait roord aazt Loiol 700 aT ? do ot PA Qa” 4 a) ms 2BRb & 0011 EX Dey #30 Se 0100 FOr pe $s GD Ta t 0101 EXQNAK % 5 B Ue wo 0110 ACK YN £ oF VF ¥ 0111 DEL Ep Taw, w 1000 —S CAN | SHXN x 1001 HP M } 9TYi y 1o10 IF SB ts 325 x toll WeopC + ;K [| k { 1100 Fe FS NAg ~ tiii sus 20. o DEL ‘abel 3.1) 1 eoiow ASCH svviene medinate in concoteazione di quatto ned nude (eedoni) U (Ura), A (Adenios), G (Guanine), C (Cytasins)..A seqoonze di parole eodice di xe acon corrispondono | 20 naynogeid: pin i sinbolo di tenmuazione. "Tale annclavioe € rdoudante, ne/aquo ye pit teiplite eortispeudeno ally stesso ‘ttminosoite, Tl codes, cok Inflensoce eenccion dngl aminoeidi,& ‘portico in Labels 32. Nota cba la ridonéans ton sa wniferme!, E eideate come by asociziave ammincaciéo-yaroi codiee non sn inivoea, diersamente a qualia inversa che garantsee Ia uniroct dlls devodiicn Ia questo caso Yellabete sorgente, cotta dal 20 auuuuancld it Usd dl erminazione, Inndimmasionen —21. Lalfabetod entne cottito dalle = pool ‘erne quatre, mote delle quall associate nly sts simbolo di somgete. Boemplo 3.6 1! code Morse rapprsenta unc dei prin csempl di ede a rmerico, Eso fx mrogetatoiasiosie lla invenzione del telegral. Sorel Finley Tne wk pase oie soba sae eapsrappate por ambit se 8 er ‘el ‘meat cig perc tale teciaonn Ieromaat omsersin sla rat ‘xcept sme riprtate A. Finiey,SP McGlyay, C.F The Guam ff Genaten, Wey, ISa [7] Amnon T | Alanine 2 | Arginine 3. | Aspurgine 4 | Aspartic ace 5 | Cysteine 6 |Ghiamne | Gn CAA, CAG. 7 | Glutamic asia | Gn GAA, GAG 8 | Glycine Gly GGU, GGC, Gea, Gos 9 | istcine | His Cau, CAC 10} Boleuciae | Me AUU, AUC, AUA 11 Leucine Ln VA! ULG, CLU, cue, CUA, cUG a Liss AAA AAG 8 e | Met AUG 14| Pheaylalanine | Phe uvu, uve 15 | Proine Pro CCU, CCG, CCA, COG 16 | Serine Ser AGU, AGC, UCL, UCC, UCA, VEE 17| Threonine | Tar 18| Tryptophan | Tip 19) Tyrosine | Tyr m Val GUC, GUA, GUG kL a _UAA, UAG, UGA ‘Tabella $2 I codice gemstico TBrvese Mons (1791-1872), che fu Finiontore del telegrn (1880), serv cw ron tutte le lettre delaliabeto sone prssouti ia uguale misuea in un testo serto ‘Adesenpio, nella lingoa ingles, ln “ela 5", *", sono pi foqueat rapecto tlle ale lettre, Mare percanto propose uso schema dt ents binaviabasata tn pacele edie contrite dai de simbelis ** (puto) © = (han). Matrio sulin per la cestrsione del code fu nssociare stringhe pt revi a earatei ai probabil, Cid risuta evicentemente in una lunghezza medin del messaguo coi- ficato it brew rspetio ad una code w hnghezza fsa, La tabella 3.3 mosra Iw corripoacenca tm carotedt alae, nuuerc e peciacoa Te parse codke. Es tomparztaions & ale che In lrngheata della Hino & cient vate quali el puto. Le spasatue all'stero di an parca coco sano pari alla durats dua punto. In an seqaensa di parole coice al ne di estinguee una parla codice alla prceenteedalla succes, Vene usta una pause temporal 13 carats ‘eli durntadiclre te punt, Le pause di vepaazaone tra pase della duzata" i commits comer i cingue pun 3.1 “Codici binari a linghezza fissa e variabile Quando wi ckmenti dol alabeto di codice sono stringhe ui simboli hina, parla di catice binaria. ii formalmente: Un cotice binario a tunghezea fsa L, detto anche vodive binerio w Hoeche i tunghezza L, la corispondonza tia. lin sibel dell alfaheto sorgente A= fat 0250/49} eV'asieme di parole codice B= {bola ba) costo {aun sottoinsiomse dalle" stringho biaaro di luxghezen L- Esenpi notevoli sono: ieotiee ASC, ilcodiee BCD, concern, Seb cardinlith del alabeto di codice @ m= 2 i orice & detto completo. Un cadice binaro a langhesza variabile ana eorrispondenza tra im st Dol dell alfabeto sorgente A = {6}, my) ¢ Vinsieae di parole codkce B= {bby dmps dove ogat @una stingh di fbi. Si sarebbe tentati di defini ls Tungheaz4 mdi dun sion come bn ESE bit, (05) sna tale delinigione non terrebbe in como ta probabil con eu 1 vie Patol codice vngono lizzate, Pertanto la tgteta meta & pi propre sume defini comme In ein sain dla luaghenea delle pate code dletea Bla variable aletoria he appre Ix parla codiceemsonn da exaifeatore, In Inghesss media de die 2 Tan =S4P(B=b) bit (0) Ovviamente se le parole codice sono equiprobabili, Z = Lyy. Nel eguito sli questo capitoi, se non diversamente specifiata, faremo rifeimento a codiel wnivodt con m =n, Pertanto lw distabrione delle probable delValiabeto soxgente coincide cou quella dealiabeto ci exdien, orvero Pr(B=h) = Pr(8 = wm. Inolte, ln totale univoctth dala cofsopoadena tra alfabeo aie 6 Wlbees di oormaiec camel diconcentrarci sclusivamuente sulla structuta dell'alfabeto di coice, Nel seguito faremp iferimvento a “alfabeto di codiee’, © @ “codice™ in uaniera intercarmbabe sottitendendo la seruttura binnivoea della corispondenza tra Valfabeto di sorgente e Vallabev di eodice A oT beer a ert Show Revered a “T* & ushy Oe kay ee ED ee Ke, heer To Dh tege bamPolucans? 84. CODICI BINARI A LUD GHIPZZA FISSA B VARIABILE. a5, Double dash (Break) | += ~ Envor - i 2 Bnd of message (AR) |= End of Transmission (SK) | +=. — — 808 aa Wait (4S) = Nake acd nO TOZEH AS moro ees ‘Tabells 2.4 I eotice Morse38 CAPITOLO 3. CODIFICA 3.1.1 Codici univocamente decodificabili Aftncke uno schema di coca sis uttizenbile, deve verfiearst che una se (quenza iso dl sorgpyte calif sao riottendbill univocamente al de- codifientore, Assamende cho il meceaxiano di trasporto si perietto, ever che non eisiano perditeo emtan, iricevitorederra cperare si una sequerza binaria costitata dalla concatenasione di parole eoice. E’ evidente come sorga un primo importante problem: come ideutiicare univocatnente Te parole cocice se von si inteodotto un simboio di sepacazicne? Ad esenpio nel codiee Morse sono sate ntrodotte delle pus fn di ottenete wa i= eiminasione anivoen te le varie parole code. Tale sohuzione pu rsulare molto inefficiente-a casa della ridondanaa consepuente Ia introduzione dei slinbok ausiliari. Certo, se le parole codice hanno una lunghexza fsa 1. si pud fare afidamuento su un deoodificatoresincrosizzato ce esa esat- ftamente L bit alla volta li tradace seoondo la sum tabella di dsconifin Viceversa se cotice@ a lunghezzs variable, il probiema rsta: come ® pos sible suddividee ln sequetza bina hn sue parole sic cout? Por vetoes un p8 pit dhlare diame prima ln seguente definisione eo riferimento ad un sequensa oi lngherza finite. St die che wn voice 8 ‘univocimente decodable, se & possibile rsalive in mantra univoen alla sequenza delle parole eodice costituent, a partire da uns qualunqe se ‘quenza di lunghezza finite eostituita dalla ecncatenazicne di parole code Tn paricolare sem ¢ neardinalita dell'alfabeto di eadice © KC la hnghiezs della sequenza,dixemo ce il eudice & univocarnente dereliicabile nee solo fe per ognuns dale m¥ eoafigursion! pons, la identiGeusione delle K parole di codice costituenti® univoen, Quindi in generale, come & possibile Intute, anche disponendo di codii uniwuei, potrebbe esere necessario os sereate tusta fa sequenza prima d) poter eapire dave cadouo i contin delle parole codiee costituenti, E pinttosto complesw verifeare iv generale se ‘un codice & univseamente decodifeatile se eso non read nelle categorie cho caranno specifica qui di soguito. Infatt nelle apeiceriont anche por evitare chfVlecodifeatari nemssitino di complssialgariten di decadifien «ae fa fhe eo mt oper anche su sue ef, prefersce idettare la sotoclasse dei coset cadic!istanuane. Un codice istantaneo & tle che il decodifcatore nolo scortere ln sequenan binarin da sinsstra verso destra@ in grade di rieonoscere imimadiatamente V'niio la {esminasione di ogni paola colce ‘Une clase molto importante eel tan We) ® quella dt cosetspolos 3.1. CODICI BINARI A LUNGHEZZA FISSA.E VARIABILE 37. ATG _[e [er [Or JO [0 [or as|o20]1 40 ou w]05 [oo | 110 | onr aa{o1 | or | ano] om {as 005 | 10 | 1111 | onan Te] a7 [are Tabella 4+ Bumpi ai codid 6 sorgente Ventropia delle soegente & HUE) = 188 bit, codici a prrfiso. In un codon a profes, ogsi strings binaria del let 1 orice & na sequence ci bit, ehe-non eosttuise T'nizio di nessun alta paola codiee. Pit precisaments, un endive a prfis> & un codicecostituito 4a parole codice tra cui nessune di essa éprefsso di un‘altra, Ad esempio: 4a parola 001 prefisso i OOL11, rea nom & press ci W101; ln parola rodice (0 Bresso dOL, ei 00, ran noc 100; Ia parole cnice 10& prio di 101 46 100, mua aon di 10. Costriendo son tale vineolo Timsome dell parole ceotice,siamosicuri che i deeodifieatow nell scorrere ln sequen bina da sinistra verso destea potrh rioqnoscere i maniera univnen le parole codes seuza bisogno di simbol i terminssione, “Tabells 34 mostra tre esompi di eodiel associat cinque simboll di sorgente fa, 03. 855245 44) Si nota immediate come codice C, non sia un cadice & prefs, in quanto 0 & profsa di O0 e di OL, « 1 peofiwo dl 10. Si tata inoire di am endhioe-nom tnivocamente decodifiabile visto che se consideriano la coneatanmone di 0,1, 01, ovvero 0101, essa pod essete decodificata come 11, 01, oppure come 0, 10, I, oppure come O, 1,0, 1. Codiew Cj ® anch’esso ‘un codice che nem sxdisfa la coudizione del prefiso perché DI & peefisso di tutte fe alre parole codiee. Codie Cero un eniee univoeamente Aecerdiicabile easendo anche un codive tantasoo, visto che fl it O ya ‘ssoro sto come idontificatore dainizio di tutte by parole eadies- Codiee Cp avec, bn coice & prefisso in quanto sedis i condizione riciesta Lafigura 3.2 mostra un diagrarmu di Vemn eon a relazione di inelusine existonte tra cod mivovocamente decoifiabil, codieiizantane e cocci a prefs, 'E’ moko utile desceiere Ja struteura a un codice mediante tl eorsspen- dente aero binario, 8} osservi figura 3.9 in eu # eportata la strattura udpoliaen:10 38 CAPITOLO 3. CODIFICA Figura $2: Le selasions dl inclusions tre i vari thpl dh codices CUD-Coet Univoenmenta Deeolfenbils CT-CovckItantane; CP-Celici a Prefss, albero dei tre codici di taballa $4, Lialero a legge parterdo dalla rice ppereorendone i mi fino a ineontzare uns parola cuties (pallino). Lalbero ‘onsiste nella associazione di uno “0” © un *1" ad eg ramo che si ciparte dln un nodo, St not come i edie w prefiso corrisponda nd wn eee le ‘cut parole codice soso aociate sala i rod terminal delalhere. Questo ‘conforma come ildecodiBeatore nel interpretare una scyenn coneatenst, di parole codice, percorrento Falbero dalla radice vers i rami, sarb certo «di avere oservato una pardla codice el momento in cei avr raggiuato un, ‘iodo terminale. Ad esempio, nel decodifieare la sequenza dsl code Co, 110101111, abbiamo eke la deeodiica & uaivoeamene 110, 10, LIL, avvere 3.1.2 La disuguaglianza di Kraft-McMillan_ agli escmpi forniti nella sezione procedente® evidente ose la eostrazone dian endive binario a prefistorchioda che le parce edie iano associates clusivamentealletertaneziont dell alberobinario che lo rappresenta, Quiadi te allelfnbeto di codice sono eneacinte le Inayhezza diverse {0,455 ms & shbastanca intuitive che non trope parclo di exdico poasono avere wn Iunghezza piccola in quanto Palbero aon avrebke abbestanza terminazioni ddisponbil. sist infatt un rsiltato analitco che ci forisce una eondizione sulle posabill Imghezze di un cod a profi. ‘Teorema 3.1. (Disugueglianse di Kraft) Condisione necessariae sufftente er Hesiotence di ux codice binart a prefiso cos parole codice di anghesse34. CODIC! BINARI A LUNGHEZZA FISSA EVARIABILE 39 oe oe t 7 oS AY ? G G G Figura 33: Gli albert binericorrspondenti ai eodici ei tabella 34 H6 layla # che sia soddisfite la sequente dicuguagtiansa (37) Prova: Came ih deto le pro cies di un eotive w peso sono nsoriate nod termina dua albeo, Cominciamo consderatdo I code asoeiato od tu albero complet unghce fs une ttle parle cone gue aso me = 28. Quin I xindtaty del teorena ve con I seg inn oie we Erk Set alee Figura$.4(a) masta atbero asorint oun code empleo dilunyheena £ =3. (Ort so comsideiano an code «Iunghcza vail deadly dove E la Iunghezzn musa delle parole edie, alamo che og paola cadice di hangheneaGnelalbere orate 2 nodltrmialidelfalboro completo. Figur S640) mostra Falter coriapoelente ain cdc i tunghesen (3.82, )- fat lo prin due pazele codive ostriscano un solo odo ogaunn. La vez parala oxo ostrsisce due nod terminal, Anal>gamerte la quarta ne astriseqaatio, Se tut mod eri oie (2m) somo utes ln sem dl ad ontruth® part al timer totale dl soc Crain open, vere Sees Anche in queso caso Sf 2“ = 1, Tale stuavione & quella dun eodicw core att cl mh emia ono eet eins (os) af (39)prtsin 2 0 CAPITOLO 3. CODIFICA 0 Figura 3.4: Gli alberi bat ceerispondenti acodici a prefiso: (a) un odie completo; (b) un codice computto; (¢) un eodice non compatta ‘Questa non # ts slvuaone pl generale per uacalice a yt yest quale ‘odo terminal pote toe ere ullatate, cme a Sige 8.6), lca leghomae somo {3.3.2.2}, Petanto in generale ln somma det vod este solo al pid 28 Qunai Suet cat, (3.0) ‘he immediantamante implica digungiaza di Kral. Queto prove eh dato tun eoice« pnefino val in snuguagiaen conlihne ncaa) Pet ovate in tonisone malfcionen bnoga rapper cheb duguagonen sa erinta 6 tovare ce @ posse carter un diem pron Sen aero parle covkee di lunghezzsj« nfunghezea masa, abbiamo chela cisuguagtionza eye ener ita pe eget as wrt mot smt* st (an) mating te baart ea. (32) (s:3) Le disezuaaianze posino ese risit come mishpobconit SL CODICT BINARI A LUNGHEZZA FIS EVARIABILE 4) (ay aim mis (as) (a6) Le disngunslinze posono essere trope ome le condizonl pera costrione| el cote sal atbero: al prim velo (nghezna ano) sen 2 nod spon, al velo 2 (hughezza 2) sono 2 nod Aisponibil aso quel id esti dalle parole eodice uel livell 1, Al generico livllo, a disuzuagianzaespime I ero aot sposbil ave elas qual i estrunt a vel preedens). Quunel © omibiecoctrure un code prefias se Imighctre modish la diougungionsn i Krak, 4 51 noti come la disuguaghunza di Kraft non ei diea eume costraize un, ‘odie effclente, mn cific soltanto quali sono le conseguence dell eo dlisone del preBiso sulla hmghezsn delle parole. Iafati, se totiviao la dlisagunslianza come Exes (a7) ‘sppare evideate lt Tinitazione sulla tanghezza minima delle parale eodie: inn codive » prefsso, non troppe parole cae possono esete corte. Leash limite st hanno quando Falbero dt eodiee bun aBbero compatto o compleo, ix qual cas la condisione vale con i neque di uguagliansa $i neti meg ‘rp cli takella $4 come codice C, viok ln condisone di Kraft, snonte i codico a prefiso Cs la sod Ladomantn untarale che s! pone « questo punto & quanto Timitativo & corsiderare solo jcndicia peeiso? 1s alte parce, nel dominio pi grande Aleicogil univocamente deendiicabil esstono codici mediomeate pit eorti? Larisposta fale a questa domanda fu data da MeMilian ce dimostrd act 1956 che In conizione del teoremo di Kral (1948) vale anche ger tutti cod- ici unwocamente deeodifoakik, Da quiil rome del tearema, che xato come dtisupwiglnca dh KrufeMeMiton. La estensions di MeMillan det teorena 2% di fondamertal impertanza, anche per i teoremi che seguir, perch cconsente di trattare tutti |codiet univocamente decocifiabif in un‘ unica clase, senza doversi imitare al cod stantanel, © pit in particoiare ai ‘oil w refine. Inoltee | vincol sulla huugheaza delle parole codice rere ¥ cadet nem a pefiese poco inturscasti per le appliousons Teorema 3.2 (Disxgueglence di McNtulan) Condsione necessara ¢ suf iente per Verstenzo di un catice binario unvoumente decafcabile & hePePusens. i 2B CAPITOLO 8. CODIFICA te lungesze delle parole coe {64.2 Krft sediisino Ta dsuyuaglonsa di (3:8) Prova: Lo condiione suficientes iametitn dal teorenia dl Ken in quanto, se Ineondizione bverdicaza, est siursmente un code a preoso qnd uncodiee ‘univoeamente decodable, Per ln condzione necosiaria debblamo supporre ise ia an codec univocamente doodiiatile con lengheren fli Cpl! © Atervare ldisugnilianzn I pustggneraiala yor la dinexerevone enuierate Veswesione Goer -(Ee") (Ere)-(Exe)- om spanéndolecoido mento del ssone sbi er ‘Sia uatice J dellsizo come RE Ee (320) PEG HG til (s21) Si xoti che J anc la Tamers totale della sequent cls K parole esi costi- tui dh parole di unghezza (fi. Gn espessa in bit. Se Z la hunghezea nassima dele parole codce, J'® leno K e ai pit KL. Chismundo eon Ny i ‘numeto tein corispoudentaltermane 2 / uel sluppo, posamo sere (Sr4t =F we. (322) oti orn che Ny Dancin Imus dl voquens dL pale code she hae csntarewe lunghezzncomplasim pat J Sell code nivocameste cad. iRcaie, Non pub ce sapetone a2, Ponto (rors Fee aeesiews, os) pole AC &slewrameite magne duno. Poi bs dbuguaganza deve vale per qualungue KX, dove necenuriamento acendar che Me oer (a2)iabentnes IE 32. CODICIA-ART 8 {a ragione di tale corcusious ehe se wisi 7 2°4 > 1, facendexescere A, pote trace un valore K yer oui (S38) 2% )¥ > Ny eve wiienedbe la copdizine tomate, Questo prow Tasero dal tore, 0 ‘Tra ali expla tabelia $4, & possibile verifcare come it vodiew C3 che ha Iunghezze {2,3.4,5,6) soddifa la disuguaglianzs di McMillan: + dt k+k> b= B <1 F opporuns cammunque eafatizzare che avere tin eodice che Soddisa Ia distguiglinza di McMullan, orvero che ha te lunghezre opportune, nun garaatise de i codice sia unvocamente decoll- Beabile. 1 roorema di MeMilan garantie solo cho twists alineno in sodie tunivocamente desndienbie con quelle limber. 3.2 Codici M-ari Anche se { pricipali code di intresse sono quilt costituti da. parole di Codice che sano dellestringke binare, ve merionato che tte le defiiziont (¢ risiltat) appena exposti possono essere applicatt a codiet femati da ‘iuboll Afati (teruat, quiere, eeeetera). 1 particoare Un coice Nt-aro a lunphesza fsa L's la cervspotdenza tra ll siabols Hetalfabeto sorgents A= {ay,a3,--9) € Finsieme di perole codices B= 6. 89.-Sm) eostitito da un settoinsieme delle ME stringhe Marie dt lunghezza L. Se tutte lestringie m= M* sono utilizste, il eodiee &detto completo, Un codice Mario a lunghezza variaie uns coetispondenza ten glia slm- bolt cll’ alfabeto sorgente A = {yd} e Finsiome di parole codice (61,9409 Sq) dove OBL sy CUE Sten df sino Mari Lasisuguganas di Kf MedIillan si seiveper un cocice Mario come yess, (325) Anche a tm eodice Mario & posible mwaclure un albero, Lilbeto & tale the da ogai node st dipartono Af rami, Le lungheten motia di an codice Mario @analogumente Tae =Sqr(a= i} (3.26) Esa. si misura in unita diverse a seconds dal lore ei At, ovvero in tit (per M =), quadit (pee AM = 4), ourtera. Se h sl vuole esprinere inPobre .I6 4 CAPITOLO 3. CODIFIC: bit, basta moltipicare i valoreottenuto peril fattore ei converse lg M. ‘Aleuni esenpi chiagionae iu seguito le seme formal, [Esempio 3:7 Si conser il segeente cece temasia a (onas04s ae) —+ B= (A, BB,ABC,AABCA,C). (8.27) Linabsto ternario con custo castruitele stringhe ¢{4, B.C). Lalbeco native tl eodive &uvstrto Agua, dove sono stats acral slo ral rela alle Stringhe termatie etna ovlige nan @compaito a quant wou ttt} nud wera sane sac ua Instr exice non prefiao, Le hnuhez2n sono (1.2,3,2,8,1) tit. Anco se ess sodlistino la disurunlionza fi Kraft-MeMilan, <1 (328) 4 eodice nan & ynivocamente decodiicabil. nfatt! basta somsdrnte la sign ‘yay, che beodficata come AAA. Ks pu nsere decoieata come aay ona come aa. Selndistibazione dl proba de sinbel (0.1.04, 0.2.04,0. 38 bit. IM,pte Capitolo 4 Compressione di sorgente i {\ ebicena tit coo @cllgaa hiaamente ala sus nga meen Albina omer come saebbe desderate otiemere det cod che a> Ta une lhe ela pd pole pombe o claus umlcmeaia dleodfcaili, Uno det silat fondamestall lle ool dele 8 semesters che loa Yenteoin ila nie nabs mein dun cove univocamente decodes ‘Teorema 4.1. Per a conic binorio uninoomente decodicaile, la lnghesza ‘media sodtsfa ta seguente disegueganze T> Mt, (uy ato abbia delle conseyuenae appheative formabis igexte, che possimo enloolae dalle sie propcith statstiche, ci foruice i inate supsrieee teoricn alla honta di qualinave codices (ute) che andromo, ‘a progettarell SI dofinise pertanto effienca del eadiceil apporte umn IEE con 0.< 7 <1. Guardano di movo agli esempi di tabella 3.4 notiam ‘he i nie infesiore teorico alla Ianguezen media sa 1.88 bit, T due cocte! 20.Cy, che sono quell univocamente decodicabilt, ane ripetivamnente (aa) 45pola, 46 CAPITOLO 4. COMPRESSIONE DI SORGENTE lunghezze pati a 2.7 bit © 3.75 Lit. Vedremo in seguito came sia possi- bile progettare dei codict pi offiientiaventi Ianghezza media moke pi prissizan all entropiu Prova del Teorema 4.1: Vogliamo dimostrare che per un codiceunivocemente ecdieatite ny -E<0 (aa) 1 termine sinstro del equazine pud eaere riscita come Sp lows Ene ay — = Yon Spitoes e « Eanes a Poiché nz < ~ 1, abbiao dhe log < (e ~ 1) bye. Quin finitando ‘spericrmento tut i terenint det sammaterin, biama i rial teat nay -T < Sn (= = :) tog = (x 1) ere ls) love ueutine passguo sav uso etl buguaganun A aft-Me ia a [Nel caso del cod V-ati, 6 possibile oneralianar il tooremia. Poiché in tal eas ln lnngher2 masta de coice si misira in simbolt Mar abbiamos HUM) < Tloge Mt, (46) con Tentropie espressa in bit. La prov la stessa del caso hinario ln i ‘alascia per brevita, Pertanto Vffidenza di un eodce M-ario & definta an) 1 Tog 7)aot L _— 4.0.1 I prinio teorema di Shannon See probabil simbol dl songete foseoeeitamete py =2~ lent tn codes on hngherse 4 web \ logs in yo (48) Uy icon dBRL este namin pic’ ssetao cesta MAM) — Ene Stuctne tine see oa ninco dle probatilits si sinbol ot most dal tipleainahet&sorgee. La do- mands ovvingnente quonto vicinal limite minimo teorico possiamo ar- _rivere nel progettare un codice se le probabilité sono arbitrarie? YVeciano so € puesto arvare ad una raposte « questo questo tani contrition, Abbie git etty cho eo aga Fee ey, Gbeifer agin punta satire’ aaa tuaghasy Sa pain soda ¢ sina. Diverwmnentesenbrarioneote prev Fintero mnsodntaneste Superior, salvo veriicare ee tale code ext e pi parton codice univocamente decodificabile, Quindi potremmo scegliere le hinghezze dee patoe endive come (6 1 tos = Noga a) 1 1 logs 2 <6 < log, + +1, (49) PS py ar o per t= Assim La prin fea da vericare& che le huaghizze dee parake odie cant pte sone la disnguglianza di Kraft-MeMila Passa ‘gh esponenziali wel dsuguagliaxzn di snistra abbiario i x® 2 (4.10) ine Ber, (4a) Sonn ssn ment inno Spokes 35 Owvero ln disngungtionz di Kraft 1224, (43)pelaan.20 48 CAPITOLO 4. COMPRESSIONE DISORGENTE Pertanto i lunghezm cos sole s prestano alla progetazione di un coice| ‘unvoounente deeodificabile 0 prefs. Moltipliando ambo ¥ membei di fequazione (49) per p; esommands,sbbiamo HUM) palm) 2 sv 2 Pat). a print re dlr comnts nlf copes sini ct smb) Eag(h) ints ten dinbae, teulotnn mea exerts m=) er ct simbolis A(on — 1) = {ar(m —1),aa(m ~ 1)... tut = 1)} e disteibuzione A proba Tm 1) (put = Apaon = hy dm-aln~ 1), dove a # sapposte dave onan snbol nore i probbata deren. ‘questo puto peo po dlTalgritioviewe tiptoe gh ltt ce Soh emci( i) eomat 1) incrtoe dl prota verano sos faut Libero solve cemerheninin 1 ps dopo ee occ Tatbero clic bias mesial dara weno fa dex. Us erlo chiar a sempline provera. Esempio 4.5 Si consider la songerce a soi simball A = {ay.ta.05,04,05.a) fe probubiith OF = (04,03,0.11 009,006,001). Leropia dala sorgpate & (I) = 244 Ut. Figur 4.6 most i sequenza dle soegeatl sect i eotiee ‘ti Motions rialtse, Lacontrunne el'albere bari flotina dai eae veo 4 rade aswocanlo seme ke cappi disimbek meno probabil. Le srinuhe ‘it comspondent ale vatie parol cer ottengono legged Valero da rom verso ln atice€ sipetatde | be in ordine str. La tuighezz delle pale cacice che ne desin & {1,2,3,4.5,3}- La langhezen mera ® Z = 219 Wt, A, feepo di eonfronte vlstinmolveultato di un codes contrat conde il eviteso i Shannon. Pick ang 2 stagy tony toy oy Cea gene gg! par"! Gon aon" Goa? = {1.30 1.71,8.18, 347,406,464), (429) Je hunghozze sete sono (2,2.4,4,5,5)- La Tughersa tea del codice 6 T= 27, Fgura 47(a) masta Talbero dun cole costrato con quote hngheze, Figura 47()) corispande ad un versione aceoelat compat ton ingheae {2.2,8.3,4,1) © lunghoun media T — 2.0 Si noth come Hl caller otensto ialalgritm di fan sin comangue i igre. Anche tralasceretn la provaformale per breith, a puntualizzato che Valgoritmo ci Huifman garantisce che i ecliee & campatto eee ls hunghezea ‘mesa anima tispetto a tutti possibilicolii univocamente decodiiabili, on quiladistrituzione di probabiita. Sinot che ndlaigonitum di Hutiman # possibile cambiare fe eichottatuny dl eam delfalber di code ottenenlop Racers 6 CAPITOLO 4. COMPRESSIONE DI SORGENTE = Serene Ou as O11—ou youd 08 ai & Sayer a B ASG) 80) SH) 5G) SO) Figura 4¢ La eustrazione dt codice secondo Valgoritmo di Huffman i (b) Figura 47: (a) Un code progsttata secondo le lunghezee dettate dal citer di Shannon; (b) lo steso cdicendotto ad una forma pt compactapeers 30 a ° a 10 i ict Sst Figura 48; Laoritmo di Huffman applica alla srgents eatece per N= 2 dell sempio 4.4 =a Ya) ‘ x 10 a 11209 sui01 Hino ot RR Figura 4.9 Valgpritno ct Huthnan applica ala sorgente estes per. 3 dell wompio 4.4 osc veri, ma equivalent ties: i alc as in tte proediih i te opi sinbol dele sorget tt nano prcbabiits galls pod ‘coger aritiamente cone eftiuae pl accopiamventictcnendo eva dives, ma eqbal dl jo ol vista dol tna me, Ohta spprofendinerts su gusto punt &sugento nel ural a Bsemplo 4.4 Con.) Riprendiano Insomnia sete as © ae surat eee con N=? N ~ 20 aplehinnn talento a Hales gun dese, Pet N = 1, eae banabenc 0,1) com hinahors eae poled Per =2 Figura 48 mostra otntans dl endee the isis 3p 14 — 078 un Pee = 3 Figumn 49 met la estes lee soe B26 ore ws, E verte andite« cnt | ys call ote per questo em Wi, Tala 4. entrain mars compat angen ae eedpolencen 3! 58 CAPITOLO 4, COMPRESSIONE DI SORGENTE fottenuti. Si noth come i mite supeion sia abbascansa liso rgpety a va ‘efits e come Valgeritino & Hutfnan din sempre i mighor risltata, Sima init la pana per Y= tra Hl nsubato deWagoriano at Hutmaa e quella ‘dal codien derivate dal sccorciamsento dl gedice di Shannon, La raginoe io 2 du ottibaire alla piecols eardinalith del codes eal ftto che pratieamente pet N= Sil limite del’entopia@ stato attino, aise |e |e Shanson [4d [0 ‘Shanon wae 1—[ ose Thiam Tors] iT) om [or [on ‘Tabella 4.1: Confrontodelia langhezza media dei cod (in bit) dedi ddl teorema di Shanon per Vesempio 4.4 er cjpremmrs isin Uichines di An odie ia eemmp rele, cexkotinin eapletamments | lat dll coifin oy acgeent di a ron ‘zane dela srgente, Ricordinmo che i songente emeite i sanbwili fx manera Indpendestee che o;# medinmeste presente nel 20% de est ¢ ag uel! 8%, Un segiento dt 30 sib dl sorgente e mostra tela prin Hen aye yeas 039090 43,030,030 AOLOMINOMOLAHOM w= ‘uoxeoqn1onmoIoLweIoONDIO N= 7 osr010161.0901101011100, nes Le alte to ridhe rappresentano i isultato della codica second i codiee di ‘Huliman per 1Y =1,23 rapettivumeate. Sinot che nel codienesteso con N= 2 ‘mame di bit tale 28 ey i 0 Ini, Per N= 3 U ramet totale {© 21 ridetndo approsuayleaete Ht rsparan del 29% prec Ma eaten chillies del tree G3 melo promi 0 to 4.0.8 Lalgoritimo di Hlutfinan per codici Mari [La stesa provedara diseussa per la eostmuzione di codick insti yd essere last per la costeuziane di coded Mari. Nel akoritmo basta raggruppare rd ognt fase del'algorimo le A parole dt eodiee meno probatals¢ ir fe C® perd da considerare un problema che e1erge welle costeuzionpoles 32 delValbore: alla fine delValgoritmn, ovvero nella ultima sorgents riot, isi potrebbe trovare con un mumero di simbeliinferore a M. Peetanto sisarebbe costrett a costruite up diramazione con meno dl Af rami con possible perdita di effiensa del code. Ml rimedio al problema & semplice consite nel agaiuagere alla sorgonto onigiearia ua mimero di simboli t- tir sufciote a garantie cho nell stadio finale avanzino propio M nes ‘A tall sinbol si atteibuisee probsbilith nulla. Poiché un Valberw Maco richiede wn mumero di parole eodice pari a M+ &(M ~ 1), deve k—1 la lunghezza massina delle parole codice, & immediato expire quant simboli ‘usar devono essere introdotil, Un esemplo chiar tlsemphee algeritmo, _Esempio 4.6 Si consid uaa sargente 1) sib A 18,6 7.08, 05-010) (a0) on probab H= (0. Si progeti un codicetermario (A — oun Halguitioe ol Half Sohuzlone: I primo valor dela cardinal de pd esere oztert con uasione: 34-2, € 11 E° peranto necessario intodurre an simbolo sitio (as) Drchablit mila, La figura 410 mostea a costrusione del coiee. La hugh Inelia del eodice nsutasce 6 Z = 200 et, muti Feutsopia dela sorgente Yl) = 8:6 He Lect del cokes divestn 15,012.0.1.0.,0.68,097,0.06,0005,005). (4.81) 24) Togas dove abbiamo convertito la Tugbezzt modia da tri in bit: Leg oust, (a3)otncent.33 0 CAPITOLO 4. COMPRESSIONE DI SORGENTE: AAA a 00 — Aa or ou BCA % 998 ha peo ~ 0 Figuro 410; Lalgoritow i Hatfinan usito per la costrusiom: del cade termaio dell wompio 4.6FRAncE ses AN, PALHIERI APPuwT: eur caasnr blscesTl APruwri eur cana Blscesth Capitolo 6 Canali discreti senza memoria {In questo capitoio viene inirodotta le formalizauzione matomsatien dei canali Uiscrect senzt memoria, la mutue informazione ¢ la eapacita di canale. La ‘discussione & coudotta con particolare sferimento a esetp tips, ics ‘cauale binario smactsico © il eanale estos, 6.1 Il canale discreto I un sstama ci comunicasions, ancke molto compleseo, «che pud qaindi licen stad) intorined ci modulazione, ratte elettromagneticte, eadiiche cealtro, é util moddlare il problemadea comunicazione tra i due torminli cstromi in maniera globale cquivaleate. Liobiettivo di niferimento & ipra- dlurre a destinazions, nella manicea pit affdabile possibile. una sequerza di Simba emessi da una sorgente disciota. Le degrédazioni dovute al enale, [oucricamenie associate al rimore presente nel eollegament, tipicariente ‘councratina dogk errori, orvero non tutti i simboli traamess potent ce ser riprodotti fedelmente a destizaaione, Sark cosponsabilitA del progetisia tenere in conto tal effetti « controlar Ye prestuzioni mediante un eontrela ‘dolla potenza in trasmisione ¢ medianto In introduzione di opportune cod ifehe. La figura 6.1 mostra lo schema generale di riferimento di un eanale tempe-disereto dove alingresso © alluscits sono present rispettivanentc te senuence (X'ik]) © (VE). T simbols delle duc sequenze sono prelevath rispottivemente dal? afabeto dei simboli di ingroato ® — {21,2 uhy © dal alfaboto det simbok di uscita Y = {p98 tha}. Si not che in generale si alfabeti di ingeesso eel uscita possono essere diversi, e quindl avere anche cardinalith diverse. Adottoremo qui ln formalizatione generale anche se i 6pose 64 CAPITOLO 6. CANALI DISCRETI SENZA MEMORIA Xie YX ANI +I) cemale tempo lascreo| Vik =21V (kv GV te +1) Figura 6.1 Il canale tempo-disersta ‘caso pi tipieo, come vedremo in dettaglo in soguito, 6 quello dl canale rranoroso in eu i due alfaboti X e Y coincidano il eauale & yreposto alla Hiproduzione affable in uscta del simbell di ingreso, U sistema @ tale che il smbola dt use 178) dipenve sole dal simbola i ngrose XH}, i canals & detto consa memoria, In tal caso i mocee- imo di asiociaxione opera simbob-esitthols. Ogai volte che i sistema ‘opera un associazione sun elemento dela sequenza, dice cho it eansle {stato soto unn volta. Se la sequesza di ingresso ® anch’essa sonza memo- ria, ovvero é a simbol Indipendenti e con distrituzione stazionaris, non & necessarip portare in canto Tindice tomporale & dei vari usi del canal, ma ® sufletente concentra su un sistema von ingresso e useita aleatoria Xe YY vispettivenente- In questo eapitlo ci soffermereiao slo su queste tipo si modelo rimandand il lettore, per i couali ¢ le sorgeati con memoria sccesivi approfondimenti,o alla vaste letteratura sallargernent, La figura 6.2 mostra sehematicamente il modello del canal. Si teatta «8 un-grfo orientato in cute cgni ram b assocats tna probabilitd oa diviounta, Pit formaimente, st deinisee conale dt infornazione dicreto seaza memoria, Vinsicne dh un alfabeto aiggesso a = (34,21025}y Ai ta alfabeto di usta 97 = {ysetaretn} © dn lasenve db probabilich conaitionate Piyls,) = Pr{¥ = yi = ay), 4 = Yoovm, f= Iron cho rappresentano le probabil con le quali smbol dt ingressos taracemo Simbel di scita. Le probabilta che carattrizzan ieanalesono eontennte6.1, IL CANALE DISCRETO © x ¥ ceanale Postal Figura 6.2: Il eauale di informazione disereto 4m mianiera compatin nella metric dt cenale Plylir) Plyele) Phumlts) p, = | Pluile:) Pirin) Punlna) Pulte) Plelrs) Pll) BL Bas ou «Ba [FR Ee ee (63) Fah Oo Ricontiamo some in geneeale la dimersione delfalfshoto di excita posia ceserre diversa da quella dll'aifabeto di ingresso, anche si ens pit pico ‘quello in cui i due alfobeti hanno lastessn cardinaitae il canele& preposto al trasporto affdabile dt simboli. Vedkemo alcuni esempi ehe chiariranno ‘meglio il modell, ‘La matrice dt canals P, @ tale cho lv soma doghelemeati di ogni riga & poria.mne! ; (62) ovvero in forma matriciale Poen = 65: (63) "Waa mattoe dpa smairice stocaston ai tale propeeth & ance dex mia dh Markow 3pele 66 CAPITOLO 6. CANALI DSCRETI SENZA MEMORIA dove eq = (1 2...,1)" @ilwettore unitario di langhezza n, La disteibuxione sinuboli dca Ty = {P(1), PU) Pin) bs (64) si valuta dalla conascensn delle probsbiltd det simboll dingrewo, dette probabil ¢ priors i probit d Hy = (PE1) Pah Pn) (65) mediante la logue della probabilit totale Py) = S2PUsla PCa J = Ayn (68) Definendo i vettori delle probabilta a price e di scita come ee [Pls y Plea” 5 y= [PUA or Blue)”, (67) € possibile esprimere la reazione tra la dstribuzione dog ingress e quella lle wseite in forma raaticale compat, my= Play (os) 41 5: consver il cals aventa alisheto a ngresn X= {2.3.29} ‘liabeto di uscita = (yy.y9,49) € na matteo di canale i Equi mactrto un segment doa poeibilsrellezasiane dt ingpenca © wack probabilith a prior dl simbol di ingress sano saul Osos pam an a nae Oe ee et (620) Si not come i simbolt di ingresso (2122-3) alicrea nelln meth dei casi st Uiaafrmeno in (ytss2-ys} Hepetionnente. Ne inagent cal opoino a trata invana dglt alt dae com guste probabiith, Si textta ovvinmente elo li an Iow soxmerto di una possibile realizzazioneGJ. TL CANALE DISCRETO 7 Le probabilita P(yjlz), dette probebilta dirette del canal, cerattera- ‘ano quind i meceanistio alearorio con il quale i simbol di ingress si trasformano nei simboll di uscita. Aualoganiente, ® possibile descrivere, come’ simbol i useita provengano in probabilth dai siboli di ingreso, lovers, usando i teorema di Bayes, oftenor® lerelatcn“inveri del canale PwleiPe) Sa ‘Tal probobilithsono dette probabitti« posterior (o probabli tmeerse) del eanale. Ogni P(\y)) rappresenta ia probabilith che, esservato il sitbclo yn useita, in ingress ei sia stato 2. Da qul il nome “a postories” visto ‘che ese deserivono In probabil del stubol. di sargente “dopa che” an, simbelo in vacita & stato oscervato, Si uoti de comungue Ye probabil 1 posteriori dipondono anche dalle probabilth a priori Le probabilta » posterior! possono essere anch'esse arganizzate in tins matrice Plays) = bi en) Prim) Peel) P(tilin) p, = | Peedas) Pleas) Pleat) Plagne) Playa) Pleated ied Angee Pit Lo geucsca colonna j-cina dell marie rappresenza tutto le probabilth 4 posteriori degh 1 simbali d ngreso corrinpontent sll oservazice dh yj © chiaamente sommano a uno. La matnee dele protebilta a postericet tS ener expres informa compat alla relat nario P, = dhagia)Ps(dieg(xy))~* (6.18) Si noi inolte cameo probabiits condisionate del cana sino divers dalle probabilth congiurte Poy) = Peay) = Piyla) Pe) = Plein) Plan)s ¥ 5.3, (GN) che rappresentano In probabilti che all'ingresso all'weita del eanale ci ‘iano simultencamente 2, ¢ yypele 6s CAPITOLO 6, CANALI DISCRETI SENZA MEMORIA interessante notare come le probabilitd a posteriori possano essere utilizaate da un rievitore che osservi 'uscta Y per ottenere informazice, sullngresso X. Infaith, se un riewitore in wsita oserva il simbala y,, ‘lla conoscenza dla struttura det eaaale e dele probabil prion, pac cealcolars le n prebabilith 0 pesterior © avere quindi una idea di quale potrehbe essore stato dsimbalo in ingresso ad aver genorato quel smboloin lucita. Confrontando i valor} dole probabilita.a posterior, rieuitore pd “icilere” di ceqlere il simbolo a ingresso # 9 cui corrisponde il valore rmassimo, Oveero se in usta si @ osservato 5 0x, Plas). (6.15) “Tale citorio & detto criterio MAP (Maxiimiim A Posteriori) 0 criteria a Imassime probabilitd ¢ posterior’. Il criterio MAP vetrA approfondito in seguito: * 6.1.1 La probabilita di errore La matrice di canal © le probabilith » price, consontono ai valutare le probabilita di qualanque eveato colegeto al extaie. Approfmndiamo il caso pico di canale quadzato (n =m) valutiamo Veficacin con la quale il comnts trasferisec i simboll dell'elfabeto 2, nell'elfabeto Y nella corrispon enza 21 + yA = 1y-ymy dhe consideriamo come quella relativa al “cor. sto trasporto.°3 La protabilitiche un simbols aia sisevito erroneamente correttamento ¢ facilmente calclabile. Pia preeisamento, si deinise prob- abiiti di esvore eondizionata al simboloi-esimo Pr{erore |trasmeso2))= 3 P(yle), (616) Pee) = Grate sate a notte al tare coe problem ela deco a it its inert pis probabil um bush sa eweraia una patiniore wet tun problema & Jagronten. Taft ve tibiae ot snbel ingress iets A pent une” sito AF welts quod “snl” Yo spo della deine 1 dala essen de ereenno pv mao sear oe cul le coe genes del into ale aa eas, alle asp probabil Si aot eome anche lo probabil ‘prion dle sctocawe chino un ria erisiale. Uaa agin edn d bua epee, Immater pt rene comeapevole, questo merci d decsiot. 1S nou come be eerbayonemen prc ec Wianivoe, astra, ltl pots hoo adotare dale nace ever ds Snie cme “exererol” Si wot pend che tim qulungue ners aiaion save eulalente nd una teicettanure © rer taalne det sap Pett In mora 2 == t= I om comport pul noe considerate cme qua th ifrent gonepola 61. IL CANALE DISCRETO © ‘ovvero In probabilita con la quale il simbolb i-esimo viene confuso com altri ‘simboli dopo Ia trasinissiono sul eaunke, La probubilitd di errore media, ‘owvore la prubabilita i erore mediata su tut §sboi, &imveoe PO=SPeNPa)=S SF Puls). — 61) fe mppresonta una misura globale di affdabilith del eanate E’ generalmente pit semplice esprimere la probabilita di exrore in fax one della probabtita del’ownto complemento, ovvero in termini di pro} ‘ablits di corretiaricesione Pla) Pr {cores reesione | trasmenga x} = Ply), (6.18) Ple) = 1 ~ Ple) EredavPted)~1-F PevlaPes)- (6.19) Lo relazion procedenti si serivono in forma matriciale come P(e) = 1~ Pie) = 1 = diag P,) "ee, (29) dove dias(P,) bil vetore colonna fermato dagli n element dela diagonale iP. ‘Esaminiamo ora aleun tipici esempi di canal, 6.1.2. Tl canale binario ais cha ans pa a ttl po rt naa tata dole oomuniaabei® defatte widante doe sllabe! Wns X= {01}, Y= {0,1}, (6.21) wt museca -[d-n om Fee a atm 1 grata rola 8 rapprsenao in ga 3 not ops Iago S oe sun 08 8 aeeetne dige "Ta wosra convnione sulin Faroe ag) & dee fa wpa a ak vette, fesiince in vate lagna can gh ele el eter tlle again 62)70 CAPITOLO 6, CANALI DISCRETI SENZA MEMORIA Figura 63:11 canal binari snale dipenda solo dai due parametri, py © g. ee appresentano propri lo probabilita di errre condizionat dat simboli “0 © "1"; P(e) =m Pie,) = py. Quindi, in generale, la probabilta che un simbolo venga confiso con Valero pud essere diversa per 1 due simbol Il ealeo' della probabil licerore media richede Is eonoscena delle probabilita a prion! del simbol, a? = [P(0), Pia)] = [P),(1 ~ PCO) omy Ple) = 1—P(o) =1- (Pla)P(O)+ Pld PAD)) 1 (1p) PCO) ~ pit ~ PAO) moP(0) + nll PO), 629) P(Y =o} = PAY =o} = 0}P(0) + PIY = ox = 1} PA) = [1 —9) PO) + a(t - PCO) th = POY 1x - OP(O) +P ux = 1}Pq) P(X =o =o}6.1, IL CANALE DISCRETO 7 DIY =11X = 0}2(0) p(x =ov=1) = “od __rebio) = mutes = ASU aiRU) (rit PW) - SNS We) Quando le protabilita di ervore condizionste-sony uguall (yp = p; =p), ceanale 8 datto canele binerio simmetrico, o BSC (dal ixglose Binery Sy metric. Ohannel, La probabilta di errore media diventa somplicomerte P(e) = PO) + wl — FO) =>. ed indipendente dalle probabilth.« prior, Le probatiliti dei simboli di nusita diventano PLY =0) = (1p) +00. PCO) = POA 29) +, PAY =1} = »PO)+0—p\—PO) = 1p PO) 20) (028) Axalognmenie be probabil» pastsios oy =o) = 2-920) MX=ON =O} = FKL —39) +9 ¢a1jr PE = OF =O} 6 ‘ind convione “decieen? ee "I". Diertament, wes aerate “1, PLX = IY = 1} > P(X = OF = I)se pertanto convene lire i sinbilo tala. a probabiith i erone «valle del deciscee BAP dents, Ple)ar = Pe{trsimesso 0} = Pr( (638) ‘hed ighion Pie). Lastrurtura diqnestoasonpie evidentomente fartemente Indensnta dala dssinmetria delle probabllta «pron, n Beempio 6.4 Costruinm ora un esempio con un eanale bisaio non simmons con matric di eanale no [8 88 aa dure antes norms meson pani Serer crres g nermnne mesoenese = Droit 2, mente bit “1” aso con tu prokabith ds OL. Unsepment tipo Gel Fuss bina alingresoe all asa 8 ‘01011101001 wo1coro40oLOM TEIOM.OLLOrHrOOIOINHNOIOH0L001. .-011111010n.1001101010101012161 H.01L0x0100101L11010011 100110. Si not come # duo simboli sane distribu quae eqummentc al S0% nellingrenn, come sin tno invertito cea i 20% deg 0" esa 1'% del “(in fl i (questo segmento nesta “1” stato inverto), La probablita mide di rzere, da ‘squnzlene (6.24), © Ple) = 01060, Le probabiit dei simbeit inset, da (6.25), tons PLY = 0} =0.4090 PY = 1) = 08990 Le probalta m poeron da (0.38) ono Px 0} = o9srr, Px 0} = 9.013, P(X =o =1) = aos, P(X=17=1} = osns, (0:0)poeta a CAPITOLO 6. CANALI DISCRETT SENZA MEMORIA gues 6.1: tl canal bination sancollacions ‘Da questi ssuat si evine che un ricevitre MAP laseereise{simoli d usctn Inalerati x quanto ses scr “i ue i simbolo di agrewo pi pecabie ‘ancora “C'- Analogamente ss ostorvs “I” in inggeso ® ancora °I" a essere 11 pia pobabite Quin Fe)irar =P) 6.1.3 Iecanale binario con cancellazione Questo canale provele che in tieesione 4 simbok bina trasmess peasano cssere leevutlerroneamente, o nox rieevut fatto. Lalfabeto dW ingresi & X ~ {0,1} e quello di weve & 37 = (0.1.4), in ex al simbelo ttibuito i signiiesto di “eanellasone’. La'mutrice dl exnale & I-n-ne me ‘ P= (65) [ar™ ae » Le probalilité my © py sono lo probabilita di srrere vomuixionate «© pep © Fe le probabfita di eancellazione conizinnte ai simboli “0° © "t” ripettion- ‘mente. La figura 6.4 mostra il grap relativo al cnnale, Il eso pil tipeo st lun per eancelaziont © per erotisimmettici: poo = Yer = Pu € y= Ps = Ps per cui la matrice di canale diventa ee op ok am 7 cht Bh (=pole tS 6.1. IL CANALE DISCRETO 15 [Nello stutio del eanale con cancellazione, poiehé la eanceltazione non & Jun vero proprio ezure, pluttosto che paslare di probabilit di erzose sods, conviene caratterizzare la prebabilith ck corretta rcasione Phe) = PNP O)~ Pla) P(A) = (1) Ra) PCO) IM =Pa)(I~ PO), (68) cho nel exso situmetrica diventa PO) =1-p- Po (0.39) La probabilitt media di cancellasioue & Pleane) = P(canco)P(0)+P(can)P|1) = naP(0)+pa(1~ PCO), (6.40) che nol caso simmetrico diventa semplicemonts Pieaae) = pe (ot) ‘Anche le probabilita dei simbol di ascita le probabilith a posteriori sono facilmente otteaibil e sona lnsciste al lttere per eseeizo. 6.14 Canale ternario Esaminiomo ora un esempio di cause | cut alfabot dt ingresso ed ascita hanno cardinaita tee e sono costituti dagh stass simbal X= (ABC}, Y= (A,B.C} (6.2) La matrice di canale 8 dimension! & = 9.ed 6 per defiaizione | PY =AIN =A} P(Y=BIX=A) PLY =CIX= a) pe PAY =AIN = B) P(Y = DIX = B} PLY = C\X =D} PIY-AIk—C} PY BIX-C) PLY ex 0} - [s Poa (6.83) Lo probobita i error seg Io echoma generale of 3 Pe) = PI Xp =1-P(N=Y) 1- (P= AY =A) 4 PEC = 1-(P(Y =AIN = A}PIA) + PLY + PlY=cix=c}P(C)) 1 (PyaP(A) + Pai P(B) + Poo PIC) 1 diag Pel a, ay) AY hb EX 1X = BEPC) y=c)polenta cc CAPITOLO 6. CANALI DISCRBTI SENZA MEMORIA clove x2 = [P(A)P(B)P(C) 8 i vrtore delle probailitha priori, Anche it caleolo delle probatilth delle nsite e dele pecbabilith posteriori seguono Jo sehema generale o sono laseate a lttore per serio, ‘Con sferimento a un caso tumerico com prokabiith a price uniform, P(A) = P(B) ~ P(C)~ 1/3, ¢ con mattice di cane 06 02 02 p.=|02 06 02], a9) 02 02 06 qui mosteato un soumesto di una possibile realizzazione di 40 simabeli del 'ingresso ¢ dell wsita de eanale ABC ABABCABACBCBACAACBBCBACABACBABCBCBCAC... ABABBAACCBACCCBABAACBBCBBCACAABCBCBCABAC.. ‘Si not Ia presenta per crea un terz0 di og sinbolo naling ‘© come cite I 40% dei sizaboi sia ia errore (P(e) = 0) Wuselia, 6.1.5 Tl canale perfetto Questo caso particlare «i Canale quadrato ha matrice pari alla matrice Adenia 10,00 p= | (0.40) ed detto canale perfetto, 0 senza rumore, per orvie ragioni, visto eke la sasociazione tra simboli di ingresso © simboli di useita ® univoca w senan fertori. La probabilta di errore ¢ owviamexte nulla, $i noti che axche per ‘tte } mateel di eanale ee sono pertmatazion! della macrie ident (ma tid di permutasione unitarie) abbiamo iia stuszione di caiale pecketto, ‘con ta ‘ ximboli vongono associat in maniees diversa, na non confusi. Per esempio la matriee 010 100 (an P, oon ‘comisponide ancora ad un canale perfeto secondo ls asseciasione om Bop em. (6-48)poten 6.1. IL CANALE DISCRETO 7 6.1.6 Il canale sempre in errore Questo canale quadrato ba une matrice dk canale costitnita da ger sulla disgonale principale, Se si tratta di tn canale simmetrico si ho tut ali alti element per oan) In questo ultimo caso isimbolisaranno somprein ervore e cous tn pprobabilith con uno degti altri La probablith di errore & evviamente pari 6.1.7 Il canale massimamente confuso 4n questo esempio di canalo (uon secesarlamente quadeaio) | siboll di ingraiso si distribuiseono uniformemente sui simboli di usita. La matrce dv eanabe rn Am 1m Va Am tjm 1m (es) am Ayn Am In tale canale, Ls osservazione det simboli i uscita, non et da alenna infer- inuziane sui siubol di ingresio se Je probabilth & price sono uguall, Se (cinale quadrato) ¢ =i poss alla asiocinzione wne-e-ano dei simbeli bbiam che P(e) — (n— t}/n A ingress om lo 6.1.8 Canale perfetto con cancellazione Questo exempio di canale pud essere utile a modelare i teasporto a simbeli eon perdite, La struttura della matuice di dimusiont x (n-+1) & 0 ob (=m ol oo ® ex 6) 0 aR) Be dove 2c In probabilth di cauedlasions, Tutt § simboli, © sono trasferiti inlterati sul usita, osono pers. La probobiliza media dh eorretta riezionepelt 8 CAPITOLO 6, CANALI DISCRETI SENZA MEMORIA ay tin SN a feme jgura 6.5 Il canale porfetto con caneellasions ® chiaraniente Ple) = 1—p,. a figurn 63 seostra i graf rlativo al canal 6.1.9 Il canale senza rumore canal perfetto eseminato precedentemente ® an caso pasticulare del coside detzo eanele senza remere, Uncaralesexza rumote ha tna matrie di canale com un so} elemento diverso da zero in ogni colonna. Cid significa ehe ogni simbolo dt ingreso si trasforma in un simbolo di useita, ma nessun altro sliubolo di ingreso st wasforma in quel simbolo, In altxe parole, dato ua sSimbolo di usita, & possilile sisaize in manlora univoca al simbolo dl in- fgreaio che lo ha gonerato. La Sgura 8:6 moxten wn exempio di canale sons fraps cow mics decal yqoooo dotaio (65) oobdd1 Sid cho et St 1 cat eapeh ino be probabil patton, et tute be connie nent probabilth dirtte non nile sono Pl Plea) ly) = E[ lg cee w - nyt) tow, <_—P6wl® = ER Pla P a BG in) Pla om Pr felt di ealelo, lv sustu infermatione pd anche essere espressa forma matriciale. Gli cement! alPinterno delle doppia sommatoria nella ‘espresione delle enéropia condizionsta posono estere organizzate nella mis trhe Pula app 1 (loge Pp) st) oa, dove © 4 il prodobto termine.» termine delle due matric (dette anche prodetto di Hadamard). Pertarko, moltnlieando per P(e) e somuando sia HIXIY) = mE (P.© (logy P,)) (6.82) Unn espressione completa della mutua informaziane ¢ pertanto Xs iF [Pe (los P,)) es ~ (eg #e)) (3) Prints di approvondire ulteriormente Ia interpretation della mtu i formazione ¢ ln sua applicazioue al ane, esamitiamone azure propriet apots 24 6 CAPITOLO 6. CANALT DISCRETI SENZA MEMORIA Propriota 1: 1(X:¥) = 1(¥;X)- Le mutua informazione & simmetrica rigvetto ti suoi due argoment, Prova: Dall terasltima uguaglisnzs di quazione (6.80), poich® Pixy.y)) = Poyj zd Proprieta 2 1(X:Y)= HOY) —HOYIX) Prova: Diitamenta da Proptiot 1 dalla definisione di mista informaaione (om), 4 Proprieta 3: Se X © sono indipendent, NOXWI= NO), HOIK= HO, 1Y)=0. 68H) ‘Prova: Dirotamente dalla definiionedeatropiacondizionata data defrszione (Ml eistun internets: La quantita 1(Y/[X) Sancho delta “evklenza” del canate, in dualith com la Sambiguiti” HOX|Y) Proprieta 4: 1(X:Y) 20. Prova: Irisaltaca @ immodato i quanto = EE mas a Wi Planw) € om SS mea) (SbPae a tenn (ES rear = co) dove tata etal sagan ne <2 1. E? utile osservare che, nonostante la mutua informazione sia sempre muggjore o uguale a zo, 0 non vale nooessaciamente por a quantita M(x) —HOXIY =») (6.86) ‘Aleani esempi nel problem! ekiarranno Ja diferenza. Proprieth (a): La mulua injormasione I[N:¥), fssate te prohabilita dirette P,, & nx funsione concata di my.aw pols 6. LA MUTUA INFORMAZIONE a7 Prova: Conseriano due disribaniont por X, my wie avent probabilcd Pied) e Pua) por t= toon Sia © [al] © Palas) = APR) + ARE, 1 bath (os) Volutiamo ta quantita 1, ~My ~(1~A}fa, dove fy fy Zz sono Te mute infr- rion telative a PB © Ps isigiie Piyled) SE Moie dP ed ne 5G a PTE Poy ~ AE Pld Re ene Bye ATT =e ss )Py es gg e<_PUD OIE yee oe sy ASE PUylad Pe tay Ey Pde) lem) ~ AE Polen tenins Se pe ae + 6-N Era ue) > goisey[ayePupleartey (1 - Ptr > toss pyres dP te (1 Ba ere) Za Plulen)Ple))) + o-a Erna (1 Batenes)| =0 rr) 1a leg et at aati tape = poi ete worth ewe eau te Propriot& 5(b): Lz mutua informasione I(X;Y), esate le prebabilth I, & ana fursione convessa di P, Prova: Consideriams cue matric el eanale Pas ¢ Pac arbitra indict en Piyj les) e Pays) le probabta condizionate in ose ecateaute. Le probailt ate seit sano uel due eas Puy) = YAdybrdPCe) Ply) ~ SSrlwinorte (ea) Tina disgraaianza bforiicontedimorrats wands le eleione Ine <= 1