You are on page 1of 31

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).

doc

Canale cu alfabet (de intrare si alfabet de ieşire) (de puterea) continuu(mului) canale reale (cu perturbaţii !) de transmitere a semnalelor
x(t) CANAL de comunicaţie y(t)

n(t)

• x(t) semnalul la intrarea în canal • ς(t) perturbaţii diverse pe traseul canalului – zgomot („noise”)
EVAS
1

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc

• y(t) = F(x(t), ζ (t)) semnalul la ieşirea din canal, în prezenţa perturbaţiilor • y 0 (t) = y(t) ζ (t) ≡ 0 semnalul la ieşirea din canal, în absenţa perturbaţiilor • y 0 (t) = F(x(t),0) ≡ A(x(t)) :≡ x(t)

din punctul de vedere al teoriei informaţiei nu interesează operaţia de amplificare A (liniară sau nu !), astfel că printr-o schimbare corespunzătoare de variabilă (rescalare în cazul amplificatoarelor electronice liniare) rezultă că A=I este operatorul identitate.
EVAS
2

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc

zgomotul echivalent în reprezentare aditivă la intrare se defineşte prin:

n(t) = y(t) - y 0 (t) astfel că y(t) = x(t) + n(t) .
zgomot aleator cu medie temporală nulă:

⎤ ⎡1 n := lim ⎢ ∫ n(t ) ⋅ dt ⎥ = 0 T → ∞ ⎣T T ⎦
zgomot necorelat cu semnalul:

x ⋅ n := x ⋅ n = 0
Py = Px + Pn
3

y2 = x 2 + n 2 + 2 ⋅ x ⋅ n = x 2 + n 2
EVAS

Canale de informatie cu alfabet (de puterea) continuu(mului) (P). M ] 4 .doc semnale fizice reale s(t) M 0 tk-1 -M tk tk+1 t • sunt mărginite: EVAS s ( t ) : R → [ − M.

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc • au spectru limitat: S( j ⋅ ω) = ∫ s( t ) ⋅ e− j⋅ω⋅t ⋅ dt −∞ +∞ S( j ⋅ ω) ≡ 0 în afara domeniului | ω| ≤ Ω = 2⋅π⋅F h ⋅ ω ≤ E max = h ⋅ Ω (Planck !) dar practic F este determinat de circuitul electronic EVAS 5 .

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc • conform teoremei eşantionării (Shannon) • se pot dezvolta în serie convergentă: s( t ) = ∑ s( t k ) ⋅ k = −∞ k = +∞ sin[Ω ⋅ ( t − t k )] Ω ⋅ (t − t k ) • unde intervalele de eşantionare nu depăşesc intervalul maxim de eşantionare („sampling”): 1 π t k +1 − t k ≤ Ts = = . 2⋅F Ω EVAS 6 .

doc variabila aleatoare de la intrare: ξ alfabetul (de puterea) continuu(mului) la intrare: X = [a .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).pentru adimensionalizare pe alfabetul de la intrare densitatea uniformă de probabilitate pe alfabetul de la intrare 1 w 0ξ = b−a EVAS 7 . b] eveniment elementar la intrare: ωx = [ξ := x | x ∈ X] :≡ x densitatea de probabilitate pe alfabetul de la intrare dp p( x ≤ ξ ≤ x + h x ) b w ξ (x) = = lim ∫ w ξ ( x ) ⋅ dx = 1 dx h x →0 hx a valoare arbitrară de densitate de probabilitate la intrare w ξ0 .

. [ x m −1.. de dimensiune m X DIV = {[ x 0 ... x 2 ) = s 2 .. x1 ) = s1.Canale de informatie cu alfabet (de puterea) continuu(mului) (P). x m ) = s m } si I si ' = ∅ i' ≠ i i =1 U si = X m entropia câmpului de la intrare ⎧ ⎡ w ξ (x) ⎤ ⎛ w ξ0 ⎞⎫ ⎪b ⎪ ⎜ ⎟ ⋅ + dx log H X = −⎨ ∫ w ξ ( x ) ⋅ log 2 ⎢ ⎥ ⎬ + lim log 2 m 2⎜ ⎟ ⎪ ⎢ w ξ0 ⎦ ⎥ ⎣ ⎝ w 0ξ ⎠⎪ ⎭ m →∞ ⎩a Alegere posibilă: w ξ0 := w 0ξ = EVAS 1 b−a 8 .doc alfabetul finit de divizare la intrare. [ x1...

doc variabila aleatoare de la ieşire: η alfabetul (de puterea) continuu(mului) la ieşire: Y = [α.pentru adimensionalizare pe alfabetul de la ieşire densitatea uniformă de probabilitate pe alfabetul de la ieşire 1 w 0η = β−α EVAS 9 .Canale de informatie cu alfabet (de puterea) continuu(mului) (P). β] eveniment elementar la ieşire: ωy = [η := y | y ∈ Y] :≡ y densitatea de probabilitate pe alfabetul de la ieşire p( y ≤ η ≤ y + h y ) β dp = lim w η (x) = ∫ w η ( y) ⋅ dy = 1 hy dy h y →0 α valoare arbitrară de densitate de probabilitate la ieşire w η0 .

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).. y1 ) = r1.. [ y n −1....doc alfabetul finit de divizare la ieşire.. de dimensiune n YDIV = {[ y 0 . y n ] = rn } r j I r j' = ∅ j' ≠ j j=1 U rj = Y n entropia câmpului de la ieşire ⎧ ⎛ w η0 ⎞⎫ ⎡ w η ( y) ⎤ ⎪β ⎟⎪ H Y = −⎨ ∫ w η ( y) ⋅ log 2 ⎢ ⎥ ⋅ dy + log 2 ⎜ ⎬ + lim log 2 n ⎜ ⎟ ⎪ ⎢ ⎝ w 0η ⎠ ⎪ ⎣ w η0 ⎥ ⎦ ⎭ n →∞ ⎩α Alegere posibilă: w η0 := w 0η = EVAS 1 β−α 10 .. y 2 ) = r2 . [ y1.

b] × [α.doc variabila aleatoare în spaţiul produs „intrare × ieşire” (compusă intensiv din cele două variabile aleatoare de la intrare ξ şi de la ieşire η): ξ ∧ η alfabetul (de puterea) continuu(mului) în spaţiul produs „intrare × ieşire” X ∧ Y := X × Y = [a . β] (produs cartezian al alfabetelor de la intrare şi de la ieşire) eveniment elementar în spaţiul produs „intrare × ieşire” (compus intensiv din evenimente de la intrare ω x şi de la ieşire ωy ): ωx ∧ y = ωx ∧ ωy :≡ x ∧ y EVAS 11 .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).

0) [ ( )] bβ aα ∫ ∫ w ξ ∧ η (x. y ) ⋅ dx ⋅ dy = 1 EVAS 12 .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).h y )→(0.doc densitatea de probabilitate pe alfabetul din spaţiul produs „intrare × ieşire” / 2p d w ξ ∧ η (x . y ) = /x ⋅d /y d p (x ≤ ξ < x + h x ) ∧ y ≤ η < y + h y = lim hx ⋅ hy (h x .

Canale de informatie cu alfabet (de puterea) continuu(mului) (P). y ) ⋅ log 2 ⎢ ⎥ ⋅ dx ⋅ dy w ⋅ w ⎢ aα ⎣ ξ 0 η0 ⎥ ⎦ bβ ⎡ w ξ0 w η0 ⎤ − log 2 ⎢ ⋅ lim log 2 (m ⋅ n ) ⎥ + ⎢ ⎣ w 0ξ w 0 η ⎥ ⎦ (m. n )→(∞.doc entropia câmpului compus intensiv din cele două câmpuri de la intrare şi de la ieşire: HX∧Y ⎡ w ξ ∧ η (y ) ⎤ = − ∫ ∫ w ξ ∧ η (x .∞ ) Alegere posibilă: 1 1 w η0 = w 0η = w ξ0 = w 0ξ = β−α b−a EVAS 13 .

y ) ⋅ dy = w ξ (x ) 14 . x ) = lim = hy (h y .0) w η∧ ξ ( y. y ) = w η|ξ (y.0) [ ] hy ⋅ hx (h y .doc • Condiţionarea ieşirii de intrare p (y ≤ η ≤ y + h y ) | (x ≤ ξ < x + h x ) w η|ξ ( y. x ) = w ξ (x ) w ξ ∧ η (x . h x )→(0. h x )→(0. x ) ⋅ w ξ (x ) integrare după condiţionat (Bayes II) β α EVAS = lim p y ≤ η ≤ y + h y ∧ (x ≤ ξ < x + h x ) [( ) ]⋅ hx p( x ≤ ξ < x + h x ) ∫ w ξ ∧ η (x.Canale de informatie cu alfabet (de puterea) continuu(mului) (P).

y ) = w ξ|η (x .Canale de informatie cu alfabet (de puterea) continuu(mului) (P). y ) = w η (y ) w ξ ∧ η (x .h y )→(0. y ) ⋅ w η ( y ) integrare după condiţionat (Bayes II) b a EVAS lim p (x ≤ ξ < x + h x ) ∧ (y ≤ η < y + h y ) [ ]⋅ hy ∫ w ξ ∧ η (x . y ) = lim = hx (h x .doc • Condiţionarea intrării de ieşire p (x ≤ ξ < x + h x ) | (y ≤ η ≤ y + h y ) w ξ|η (x.h y )→(0.0) w ξ ∧ η (x .0) [ ] = hx ⋅ hy p(y ≤ η ≤ y + h y ) (h x . y ) ⋅ dx = w η ( y ) 15 .

x ) ⋅ log 2 ⋅dy ⋅ dx + log 2 ⎜ ⎜w ⎟ w η0 ⎢ ⎝ 0η ⎠ ⎥ ⎦ ⎣α a + lim log 2 n m →∞ Alegere posibilă: w η0 = w 0η = 1 β−α EVAS 16 .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc • Eroarea medie ⎡β b ⎛ w η0 ⎞⎤ w η|ξ (y. x ) ⎟⎥ H Y|X = − ⎢ ∫ ∫ w η∧ ξ (y.

doc H Y|X = − ∫ ∫ w η∧ ξ (y. în expresia erorii medii EVAS 17 . x ) w η0 w η0 ⋅dy ⋅ dx + lim log 2 n m →∞ H Y|X = − ∫ ∫ w η|ξ (y. x ) w η0 ⎤ ⋅ dy ⎥ ⋅ w ξ (x ) ⋅ dx + lim log 2 n m →∞ ⎥ ⎦ Pentru canalul uniform dispersiv.Canale de informatie cu alfabet (de puterea) continuu(mului) (P). x ) ⋅ log 2 αa βb βb w η|ξ (y. x ) ⋅ w ξ (x ) ⋅ log 2 αa w η|ξ (y. x ) ⋅ log 2 ⎢α a⎣ b ⎡β w η|ξ (y. x ) ⋅dy ⋅ dx + lim log 2 n m →∞ H Y|X = − ∫ ⎢ ∫ w η|ξ (y.

Canale de informatie cu alfabet (de puterea) continuu(mului) (P). x ) w η0 integrala β ⎤ ⋅ dy ⎥ ⋅ w ξ (x ) ⋅ dx + lim log 2 n m →∞ ⎥ ⎦ β α ∫ w η|ξ (y. x ) ⋅ log 2 a⎢ ⎣α CUD b ⎡β w η|ξ (y. x *) ⋅ log 2 w η|ξ (y. x *) ⋅ dy H Y| X CUD ⎡ β ⎤ b w η|ξ ( y.doc H Y|X = − ∫ ⎢ ∫ w η|ξ (y. x *) ⋅ log 2 ⋅ dy⎥ ⋅ ∫ w ξ (x ) ⋅ dx + lim log 2 n w η0 m →∞ ⎢ α ⎥ a ⎣ ⎦ EVAS 18 . x *) = ⎢− ∫ w η|ξ ( y. x ) ⋅ log 2 w η|ξ (y. x ) w η0 w η0 nu depinde de x şi se calculează pentu o valoare oarecare x * fixată α ⋅ dy = ∫ w η|ξ (y.

doc b a ∫ w ξ (x ) ⋅ dx = 1 astfel că eroarea medie nu depinde de distribuţia de probabilităţi de la intrare H Y|X = − ∫ w η|ξ ( y.Canale de informatie cu alfabet (de puterea) continuu(mului) (P). x *) w η0 α ⋅ dy + lim log 2 n m →∞ EVAS 19 . x *) ⋅ log 2 CUD β w η|ξ ( y.

Y) = − ∫ w η ( y) ⋅ log 2 ⎢ ⎥ ⋅ dy + lim log 2 n n →∞ ⎢ α ⎣ w η0 ⎥ ⎦ β ⎧ ⎫ w η|ξ (y. x ) ⎤ ⎪ b ⎡β ⎪ − ⎨− ∫ ⎢ ∫ w η|ξ (y. x ) ⋅ log 2 ⋅ dy ⎥ ⋅ w ξ (x ) ⋅ dx + lim log 2 n ⎬ w η0 m →∞ ⎪ ⎪ ⎢α ⎥ ⎦ ⎩ a⎣ ⎭ EVAS 20 . Y) = H X + H Y − H X ∧ Y = H Y − H Y|X ⎡ w η ( y) ⎤ I(X.doc • Transinformaţia (Comunicarea) I(X.Canale de informatie cu alfabet (de puterea) continuu(mului) (P).

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc Termenul lim log 2 n se reduce (în măsura în care la calculul n →∞ entropiei câmpului de ieşire se practică un acelaşi alfabet de divizare în n subintervale chiar şi atunci când vorbim de entropia câmpului de ieşire condiţionată de câmpul de intrare) şi paradoxul entropiei infinite nu mai apare în expresia transinformaţiei. x ) w η0 ⎤ ⋅ dy ⎥ ⋅ w ξ (x ) ⋅ dx ⎥ ⎦ 21 . Y) = − ∫ w η ( y) ⋅ log 2 ⎢ ⎥ ⋅ dy ⎢ α ⎣ w η0 ⎥ ⎦ β + ∫ ⎢ ∫ w η|ξ (y. ⎡ w η ( y) ⎤ I(X. x ) ⋅ log 2 ⎢α a⎣ EVAS b ⎡β w η|ξ (y.

Astfel y := n avem w η|ξ (y. β n ] cu β n − α n = 2 ⋅ k ⋅ σ n = 2 ⋅ k ⋅ Pn Pentru zgomot uniform: w η|ξ (n . Zgomotul acoperă plaja (alfabetul continuu şi mărginit al zgomotului !) [α n . x ) = w η|ξ ( n .doc Conditionarea de η | ξ (adică atunci când intrarea este cunoscută !) face ca numai zgomotul să determine ieşirea y .Canale de informatie cu alfabet (de puterea) continuu(mului) (P). x ) . x ) = 1 1 = β n − α n 2 ⋅ k ⋅ Pn EVAS 22 . x ) = w 0η|ξ ( n .

Canale de informatie cu alfabet (de puterea) continuu(mului) (P). Y) = −⎨ ∫ w η ( y) ⋅ log 2 ⎢ dy ⎥ ⎬ w ⎪ ⎪ ⎢ ⎣ η0 ⎥ ⎦ ⎩α ⎭ β w η|ξ (y. x *) ⋅ log 2 ⋅ dy w η0 α EVAS 23 .doc • Pentru canalul uniform dispersiv (când eroarea medie nu depinde de distribuţia de probabilităţi de la intrare): I CUD ⎧ ⎫ ⎡ w η ( y) ⎤ ⎪β ⎪ ⋅ (X. x *) + ∫ w η|ξ (y.

Y ) bit / sim = 2 ⋅ F ⋅ I(X.doc • Debitul de comunicare It = L ⋅ I(X. Y ) L⋅τ ∞ _ = I(X. Y ) τ _ = I(X.Canale de informatie cu alfabet (de puterea) continuu(mului) (P).este frecvenţa maximă din spectrul semnalului (banda semnalului) t k − t k −1 ≤ EVAS sin Ω(t − t k ) Ω ⋅ (t − t k ) 24 . Y) Ts sec 2 x(t) = ∑ x(t k ) ⋅ k∈Z X( jω) = ∫ x (t ) ⋅ e − jωt dt −∞ Ts 1 = 2 2⋅F F.

Y ) = 2 ⋅ F ⋅ max [H Y − H Y|X ] w ξ (x) w ξ (x) w ξ (x) • Pentru canalul uniform dispersiv (când eroarea medie nu depinde de distribuţia de probabilităţi de la intrare): • C t = max I t = 2 ⋅ F ⋅ max I(X.doc • Capacitatea temporală a canalului cu alfabet continuu • C t = max I t = 2 ⋅ F ⋅ max I(X. Y ) = 2 ⋅ F ⋅ max [H Y − H CUD Y| X ] w ξ (x) w ξ (x) w ξ (x) EVAS 25 .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).

doc ⎧ ⎫ ⎡ w η ( y) ⎤ ⎪ β ⎪ ⋅ + dy C t = 2 ⋅ F ⋅ max ⎨− ∫ w η ( y) ⋅ log 2 ⎢ ⎥ ⎬ w w ξ ( x )⎪ ⎪ ⎢ ⎣ η0 ⎥ ⎦ ⎩ α ⎭ βn w η|ξ (n . x *) ⋅ log 2 ⋅ dn w η0 αn CUD In cazul canalului simetric maximul entropiei la ieşire se obţine pentru o distribuţie de probabilităţi uniformă la intrare 1 b−a şi corespunzător o distribuţie de probabilităţi uniformă la ieşire w ξ ( x ) = w 0ξ = EVAS 26 .Canale de informatie cu alfabet (de puterea) continuu(mului) (P). x *) + ∫ w η|ξ (n.

Canale de informatie cu alfabet (de puterea) continuu(mului) (P). x *)⎫ ⎪ ⎪ ⎧ ⎪ n ⎪ ⎬ ⋅ ∫ w 0η|ξ (n. x *) ⋅ dn ⎪ ⎪+ ⎨log 2 w ⎪ η0 ⎭ αn ⎩ ⎭ ⎩ ⎪ EVAS 27 .doc w η ( y) = w 0η = 1 β−α Capacitatea canalului simetric cu zgomot uniform ⎫ ⎧ ⎧ ⎡ w 0η ( y) ⎤ ⎫ ⎪ β ⎪ ⎪ ⎪− ⎨log 2 ⎢ ⎥ ⎬ ⋅ ∫ w 0η ( y) ⋅ dy ⎢ ⎪ ⎪ ⎪ ⎣ w η0 ⎥ ⎦⎪ ⎩ ⎭ α SIM Ct = 2 ⋅ F ⋅ ⎨ ⎬ β w 0η|ξ (n.

y = x + n + 2 ⋅ x ⋅ n . x *)⎤ C t = 2 ⋅ F ⋅ log 2 ⎢ ⎥ w ( y ) ⎢ ⎥ 0η ⎣ ⎦ SIM Ct SIM 2 ⋅ k ⋅ Py ⎡ β−α ⎤ = 2⋅F⋅ = 2 ⋅ F ⋅ log2 ⎢ ⎥ 2 ⋅ k ⋅ Pn ⎣βn − α n ⎦ _ 2 _ 2 _ 2 aditivitatea zgomotului în valoare simplă dar şi în medie pătratică: y = x + n . Py = Px + Pn ________ EVAS 28 .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc ⎡ w 0η|ξ (n .

doc Ct = 2 ⋅ F ⋅ SIM Py Pn = F ⋅ log 2 ⎛ Px ⎞ P +P 1+ ⎟ = F ⋅ log 2 x n = F ⋅ log 2 ⎜ ⎟ ⎜ Pzg Pn ⎝ Pn ⎠ Py Densitatea spectrală de putere pentru zgomot: P (f . f + Δf ) dPn lim n = = Sn Δf df Δf →0 [W Hz] .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).Pn = ∫ Sn (f )df f jos f sus (fsus − f jos ) = B (banda circuitului !) In cazul zgomotului „alb” densitatea spectrală de putere de zgomot este constantă în bnda de frecvenţe deci Sn = Sn 0 şi EVAS 29 .

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc Pn _ alb = Sn 0 ⋅ (f s − f j ) = Sn 0 ⋅ B ⎛ Px ⎞ ⎜ ⎟ C sim | = F ⋅ log 1 + t zg _ alb 2⎜ ⎟ ⎝ Sn 0 ⋅ B ⎠ F ≤ B pentru transmisie corectă doresc F mare dar din motive de zgomot doresc B mică compromis ! B = F ⎛ Px Px ⎞ ⎜ ⎟ = C | ( F ) = C = F ⋅ log ⋅ 1 + C sim t∞ t zg _ alb t 2 ⎜ ⎟ Sn 0 ⋅ ln 2 ⎝ Sn 0 ⋅ F ⎠ EVAS 30 .

642 Mbit s Mbit Cinf = 96. inf=∞ ) Cinf 100 C ( F) Mbit s 30 Mbit s 50.doc Un exemplu numeric: (C=Ct .Canale de informatie cu alfabet (de puterea) continuu(mului) (P).642 50 0 0 100 200 300 F MHz 400 500 600 Sn0 = 1.18 s EVAS 31 .5 × 10 − 8 nW Hz P x = 1 nW C ( 30 ⋅MHz) = 50.