Teoria

transmisiunii
informatiei
Daniela FAUR, PhD.

01/11/2022 1
 Canale discrete de
transmitere a informatiei
{!, ! ! ! , !}"
[X] [Y]
SURSA
Emisie CANAL Utilizare
Receptie
Sursa de
perturbatii

Spatiul de intrare: Spatiul de iesire:

[X] = [x1, x2 ,..., xn ] [Y] = [y1, y2 ,..., ym ]
[Px ] = [ p(x1 ), p(x2 ),... p(xn )] [Py ] = [ p(y1 ), p(y2 ),..., p(ym )]

01/11/2022 2
 Canal - caracterizare

H(X) H(Y)

H(X)=H(X/Y) H(Y)=H(Y/X)
H(X/Y) H(Y/X)

I(X,Y)>0 H(X)=H(Y)=H(X,Y)=I(X,Y) I(X,Y)=0

Caz Canal fara Canal cu perturbatii

general perturbatii puternice 01/11/2022 3
 Recapitulare
{!, ! ! ! , !}"

Utilizare
SURSA I(X/Y) Receptie
Emisie

H(X) H(Y)
H(X/Y) H(Y/X)
Echivocatia Eroarea
medie

Sursa de
perturbatii

01/11/2022 4
 Mărimi caracteristice ale
canalului
• Capacitatea C a unui canal de transmisiune :
def
C = max{I(X,Y )} = max[H (X) − H (X / Y )] = max[H (Y ) − H (Y / X)]

sursa secundara I(X,Y)

S codare sursa CANAL R

p(xi) p(xoi)
o = optim

• Debitul informational
C max I (X,Y ) Bit/secunda τ = τ p
Ct = = ∑ i oi
τ τ
01/11/2022 5
 Marimi caracteristice ale
canalului
• Debitul de transinformatie I t = I(X,Y ) Bit/simbol *secunda
τ
def
• Redundanta absoluta a canalului Rc = C − I(X,Y ) (bit/simbol)

Rc I(X,Y ) (%);
• Redundanta relativa a canalului ρc = = 1−
C C
• Eficienta canalului

I(X,Y )
ηc =
C

Daca I(X,Y ) → C ⇒ ρc → 0 ηc →100%

01/11/2022 6
 Calculul capacității
canalelor "
$ 1− p
$
p
n −1
...
p
n −1
%
'
'
$ p p '
1− p ...
Modele de canale discrete: P(Y / X) = $ n −1 n −1
'
$ '
$ ... ... ... ... '
• Uniform fata de intrare; $ p p '
$ ... 1− p '
# n −1 n −1 &
• Uniform fata de iesire;

• Simetric; 0 ≤ p ≤1
$ &

𝐻 𝑌⁄𝑋 = − ' ' 𝑝 𝑥! 𝑝(𝑦% ⁄𝑥! ) log2 𝑝(𝑦% ⁄𝑥! )

!"# %"#
' '
𝐻 𝑌⁄𝑋 = −[ 1 − 𝑝 𝑙𝑜𝑔2 1 − 𝑝 + (𝑛 − 1) log2 ] ∑$!"# 𝑝 𝑥!
$(# $(#

𝐻 𝑌⁄𝑋 = − 1 − p 𝑙𝑜𝑔2 1 − 𝑝 − 𝑝𝑙𝑜𝑔2𝑝 + 𝑝𝑙𝑜𝑔2 𝑛 − 1 = 𝑐𝑜𝑛𝑠𝑡.

01/11/2022 7
 Calculul capacitatii
canalelor
log n

C = max[H (Y ) − H (Y / X)] = max[H (Y )]− H (Y / X)

Entropia maxima pentru spatiul de iesire se atinge cand:

p(y1 ) = p(y2 ) = ... = p(yn ) = 1 / n

Deoarce canalul este uniform si fata de intrare:

p(x1 ) = p(x2 ) = ... = p(xn ) = 1 / n

Capacitatea canalului simetric de ordinul n se atinge când simbolurile de la intrare
sunt echiprobabile:
Csim = log n + (1− p)log(1− p) + p log p − p log(n −1)
01/11/2022 8
 Cazuri particulare de
canale discrete
1. Canal binar simetric

2. Canal binar cu anulari

3. Canal binar cu anulari si erori

4. Canal ternar simetric

5. Canalul Z

01/11/2022 9
 1.Canalul binar simetric
! p y /x p ( y2 / x1 ) $
# ( 1 1) & ! 1− p p $
P [Y / X ] = # &=# &
# & # p 1− p &%
#" p ( y1 / x2 ) p ( y2 / x2 ) & "
%

C = max I(X,Y ) = max[H (Y ) − H (Y / X)]

2 2
H (Y / X) = −∑∑ p(xi )p(y j / xi )log p(y j / xi )
i=1 j=1
H (Y / X) = −[ p(x1 ) + p(x2 )]⋅[ p log p + (1− p)log(1− p)]
C = max H (Y ) + [ p log p + (1− p)log(1− p)]
= 1+[ p log p + (1− p)log(1− p)] = 1− H ( p) Fig.1 Capacitatea canalului CBS

1
x1 1 ! y1 x1 ! y1 x1 ! y1
1/2 1/2 1 1 0

x2 1 y2 x2 y2 x2 ! y2 1
Prag
CFP CPP C Inversor 0

Fig.2 Proces decisional CBS

01/11/2022 10
 1.Canal binar simetric

a b c d

Semnal
bidimensional p = 0.1 p = 0.2 p = 0.5
binar

01/11/2022 11
2. Canal binar cu anulari
1-q y1
n=2; m=3

x1 q
" 1− q 0 q %
y3 P(Y / X) = $ '
q $# 0 1− q q '&
x2
1-q y2

Pentru p(x1)=p(x2)=1/2 Capacitatea canalului este : C=1-q biti/simbol

01/11/2022 12
3.Canal binar cu anulari si
erori
1-p-q y1

p " 1− p − q
x1 q p q %
P(Y / X) = $ '
y3 anulare $# p 1− p − q q '&
q
x2 p

1-p-q y2
y1
y3
y2
Fig.3 Proces decizional t
Pentru p(x1)=p(x2)=1/2

Capacitatea canalului este C=1-q+p log p-(1-q)log(1-q)+(1-p-q)log(1-p-q) biti/simbol

01/11/2022 13
4. Canalul ternar simetric
Pentru q=2 p

Pentru p(x1)=p(x2)= p(x3)=1/3

Capacitatea canalului este: C=log3+(1-p)log(1-p)+2q log q (biti/simbol)

01/11/2022 14
 5. Canalul Z

Pentru p(x1)=2/5 si p(x2)=3/5

Capacitatea canalului este: C=0,32 (biti/simbol)

01/11/2022 15