2S 2009 - I.

Zamora Uni VII-Conf 18: Codificacin de

Canal
1
Comunicaciones II









Conferencia 18: Capacidad de Canal
UNIDAD VII: CODIFICACIN DE CANAL
Instructor: Israel M. Zamora, P.E., MS Telecommunications Management
Profesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones.
Universidad Nacional de Ingeniera
Universidad Nacional de Ingeniera
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
2
Contenido
Limitaciones en el diseo de DCS
Canal Discreto Sin Memoria (DMC)
Canal Simtrico Binario
Entropa Condicional
Informacin Mutua
Propiedades de la Informacin Mutua
Ilustracin de las relaciones entre diversas entropa
de canal
Capacidad de Canal
Ejemplo 1
Teorema de la Capacidad de Informacin
Ejemplo 2
Fronteras e Implicaciones del 3er Teorema de
Shannon
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
3
Limitaciones en el diseo de un DCS
A Limitaciones:

El requerimiento de mnimo ancho de banda terico
de Nyquist
El teorema de la capacidad de Shannon-Hartley (y el
lmite de Shannon)
Regulaciones del Gobierno
Limitaciones tecnolgicas
Otros requerimeintos de sistemas (e.g rbitas
satelitales)
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
4
Limitaciones en el diseo de un DCS
El mnimo ancho de banda terico W necesario
para transmisin bandabase R smbolos por
segundos es R/2 hertz.

T 2
1
T 2
1
T
) ( f H
f t
) / sinc( ) ( T t t h =
1
0
T T 2 T T 2
0
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
5
Canal Discreto Sin Memoria (DMC)
En la conferencia #4 estudiamos las fuentes discretas sin memoria
(DMS) generadoras de informacin y la manera como se cuantificaba
la cantidad de informacin. En esta ocasin estudiamos el aspecto de
la transmisin de esa informacin a su destino a travs de un canal
discreto sin memoria. Un adelanto de este estudio se plante
rpidamente en la conferencia #2 (Canal Simtrico Binario).
Fuente Discreta
de Informacin
X

2 1 0 1 2
x x x x x
DMS estudiada en
Conferencia #10
Fuente
Discreta de
Informacin
X

2 1 0 1 2
x x x x x

Canal DMS

2 1 0 1 2
y y y y y

Destino
de Informacin
Y ( ) X / Y P
DMC que estudiaremos
en esta conferencia
X
L
Y
L
Alfabeto
Fuente
Alfabeto
Destino
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
6
Y
K- J-
X
y x

y x
y x
L




L

1 1
1 1
0 0

) X Y ( P
) x y ( p
j k
X
Y
Canal Discreto Sin Memoria (DMC)
Un canal discreto sin memoria es un modelo estadstico con una
entrada X y una salida Y que es una versin ruidosa de X.
X e Y son variables aleatorias.
} x ,..., x , x {
J X 1 1 0
= L
} y ,..., y , y {
K Y 1 1 0
= L
Alfabeto Fuente de J smbolos
Alfabeto Destino de K smbolos
Muestras del
alfabeto fuente
Matriz de probabilidades
que caracterizan el canal
Muestras del
alfabeto destino
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
7
Canal Discreto Sin Memoria (DMC)
El conjunto de probabilidades de transicin (condicionales) est dado por:
k oda j y para t ) x p(y ) x X y P(Y
j k j k
= = =
a j para tod p(x ) x P(X
j j
) = =
Las probabilidades de ocurrencia de cada smbolo para L
X
y L
Y
son:
a k para tod p(y ) y P(Y
k k
) = =
) p(y
K
k
k
1
1
0

=
=
) p(x
J
j
j
1
1
0

=
=
1
1
0
) x p(y
K
k
j k

=
=
Para toda j

) x y ( p ) x y ( p ) x y ( p
) x y ( p ) x y ( p ) x y ( p
) x y ( p ) x y ( p ) x y ( p
X) P(Y
J K J J
K
K
1 1 1 1 1 0
1 1 1 1 1 0
0 1 0 1 0 0

Para toda j
Para toda k
Matriz (J x K) de canal o de transicin.
1 0 s s ) x p(y
j k
Para toda j y k
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
8
Canal Discreto Sin Memoria (DMC)
En la matriz de canal se observa que cada rengln corresponde a una
entrada de canal fija, en tanto que cada columna de la matriz corresponde a
una salida de canal fija.
La probabilidad de distribucin conjunta de las variables X e y est dada
por:
)
)
j k j k
k j k j
x , p(y ) x X , y P(Y
y , p(x ) y Y , x P(X
= = =
= = =
) ,y p(x ) ,x p(y
) x ,X y P(Y ) y ,Y x P(X
k j j k
j k k j
=
= = = = =
donde se cumple que:
) )p(x x p(y
) x )P(X x X y P(Y
) y ,Y x P(X ) ,y p(x
j j k
j j k
k j k j
=
= = = =
= = =
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
9
Canal Discreto Sin Memoria (DMC)
La probabilidad de distribucin marginal de la variable aleatoria de salida Y
se obtiene promediando la dependencia de p(x
j
,y
k
) con respecto a x
j
, como se
indica:

1 1 0
1
0
1
0
,...,K- , para k ) x )p(y p(x
) x X y P(Y ) x P(X
) y P(Y ) p(y
J
j
j k j
j k
J
j
k
k k
= =
= = = =
= =

=

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
10
Canal Simtrico Binario
El canal simtrico binario es de gran inters terico y corresponde al ejemplo
estudiado en la conferencia #2. Consiste en un DMC con J=K=2 (ambos
alfabetos fuente X y destino Y- poseen dos smbolos: 0 y 1), y es simtrico
porque la probabilidad de recibir un 1 si se envi un 0 es igual que la
probabilidad de recibir un 0 cuando se enva un 1 la cual denotamos por p.
El diagrama siguiente ilustra este caso.
0
1
0
1
p ) x p(y =1
0 0
p ) x p(y =1
1 1
p ) x p(y =
0 1
p ) x p(y =
0 1
2 1
0
/ ) p(x =
2 1
1
/ ) p(x =

=
=
1
0
0 0
j
j j
) x )p(y p(x ) p(y

=
=
1
0
1 1
j
j j
) x )p(y p(x ) p(y
Ver conferencia #2 !!!
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
11
Entropa Condicional
Cuando tenemos dos alfabetos L
X
y L
Y
podemos medir la incertidumbre de
X despus de observar Y definiendo la entropa condicional de X elegida del
alfabeto L
X,
dado que Y=y
k
, utilizando la frmula siguiente:

= =
1
0
2
1
J
j k j
k j k
) y p(x
log ) y p(x ) y Y X ( H
Esta misma cantidad es una variable aleatoria que toma los valores
H(X|Y=y
0
), H(X|Y=y
1
),, H(X|Y=y
K-1
) con probabilidades p(y
0
), p(y
1
), ,p(y
K-1
),
respectivamente. La media de la entropa H(X|Y=y
k
) sobre el alfabeto de
salida Y est dado por:

=
= =
1
1
1
0
2
1
1
1
0
2
1
1
1
1
K
k
J
j k j
k j
K
k
J
j k j
k k j
k
K
k
k
) y p(x
log ) y , p(x
) y p(x
log ) y ( )p y p(x
) y ( p ) y Y X ( H ) Y X ( H


) y x ( p ) y ( p ) y , x ( p
k j k k j
=
donde:
H(X|Y) es la entropa condicional que
representa la cantidad de
incertidumbre que queda acerca de
la entrada del canal despus de que
se ha observado la salida del canal.
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
12
Informacin Mutua
Sabemos que H(X) representa nuestra incertidumbre en torno a la
entrada del canal antes de observar la salida del mismo, y H(X|Y)
representa nuestra incertidumbre con respecto a la entrada del canal
despus de observar la salida de ste, se puede concluir que la
diferencia H(X)- H(X|Y) debe representar nuestra incertidumbre en torno a
la entrada del canal que se resuelve al observar la salida del mismo.

Esta importante cantidad se denomina la informacin mutua del canal
que denotamos I(X,Y), o en general:

donde H(Y) es la entropa de la salida del canal y H(Y|X) es la entropa
condicional de la salida del canal dada la entrada del mismo.
) Y X ( H ) X ( H Y) , X ( I =
) X Y ( H ) Y ( H X) , Y ( I =
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
13
Propiedades de la Informacin Mutua
Propiedad 1: La informacin mutua de un canal es simtrica, esto es

=
1
0
1
1
2
1
J
j
K
k
k i
k i
) y , x ( p
log ) y , x ( p ) Y , X ( H
) X , Y ( I Y) , X ( I =
Propiedad 2: La informacin mutua es siempre no negativa, es decir,
0 > Y) , X ( I
Propiedad 3: La informacin mutua de un canal se relaciona con la
entropa conjunta de la entrada y la salida del mismo mediante
) Y , X ( H ) Y ( H ) X ( H Y) , X ( I + =
donde la entropa conjunta H(X,Y) est definida por
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
14
Ilustracin de las relaciones entre diversas entropa de
canal
) Y ( H
) Y , X ( H
) X ( H
) X Y ( H ) Y , X ( I ) Y X ( H
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
15
Capacidad de Canal
Definimos la capacidad del canal de un canal discreto sin memoria como
la informacin mutua mxima I(X,Y) en cualquier uso simple del canal (es
decir, el intervalo de transmisin de seales), donde la maximizacin es
sobre todas las distribuciones de probabilidad de entrada posibles {p(x
j
)}
en x.
La capacidad de canal se denota comnmente por medio de C. De este
modo escribimos:
) I(X,Y mx C
)} {p(x
j
=
La capacidad del canal C se mide en bits por uso del canal o bits por
transmisin. Advierta que la capacidad de canal C es una funcin
exclusiva de las probabilidades de transicin p(y
k
,x
j
), las cuales definen el
canal. El clculo de C implica la maximizacin de la informacin mutua
I(X,Y) sobre J variables sujeta dos restricciones:
j toda para ) x ( p
j
0 >
1
1
0
=

=
J
j
j
) p(x
y
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
16
Ejemplo 1
Con base en el caso estudiado en la diapositiva #8 (Canal Discreto
Simtrico Binario) determinaremos la Capacidad de ese modelo de canal.
2 1
1 0
/ ) p(x ) p(x
I(X,Y) C
= =
=
Tenemos que H(X) es mximo si p(x
0
)=p(x
1
)=p=1/2 (Ver Conferencia #4,
diapositiva #15), por lo que podemos escribir:
) p ( H
p) ( log p) ( p log p C
=
+ + =
1
1 1 1
2 2

Por tanto, sustituyendo estas probabilidades de transicin del canal con
J=K=2, e igualando despus la probabilidad de entrada p(x
0
)=p(x
1
)=1/2 de
acuerdo con la ecuacin de C, encontramos que la capacidad del canal
simtrico binario es:
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
17
Ejemplo 1
) p ( H
p) ( log p) ( p log p C
=
+ + =
1
1 1 1
2 2

Observaciones:
1. Cuando el canal no tiene ruido, lo
que nos permite dejar p=0, la
capacidad C del canal alcanza su
valor mximo de un bit por uso de
canal, lo cual es exactaemtneo la
informacin en cada entrada del
canal. A este valor p, la funcin de
entropa H(p) llega a su valor
mnimo de cero.
2. Cuando la probabilidad condicional
de error p=1/2 debido al ruido, la
Capacidad C del canal alcanza su
valor mnimo de cero, en tanto que
la funcin de entropa H(p) llega a
si valor mximo de la unidad; en un
caso de este tipo se dice que el
canal ser intil.
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
18
Teorema de la Capacidad de Informacin
Formularemos el teorema de la Capacidad de Informacin correspondiente a
canales gaussianos limitado en potencia y limitado en frecuencia.
K ,..., , k , N X Y
k k k
2 1 = + =
Para el modelo de canal con ruido AWGN
Muestra de ruido
gaussiana con media
cero y varianza:


tx N
BW N
0
2
= o
Proceso aleatorio con media cero que
est limitado en frecuencia a B
T
hertz, y
cuya varianza es la potencia de
transmisin limitada a S watts:


] E[X S
k X
2 2
= = o
Modelo de canal
con ruido AWGN
Seal
recibida
E k
X
k
N
k
Y
Seal
transmitida
Ruido
AWGN
Proceso aleatorio con
media igual a cero y
varianza:




2
2 2 2
N
N X Y
S

+ =
+ =
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
19
Teorema de la Capacidad de Informacin
La capacidad de informacin del canal bajo las condiciones anteriores es:
} S ] X [ E : ) Y , X ( I { mx C
k k k
) x ( f
k
X
= =
2
Se puede demostrar que la entropa diferencial de Y
k
se calcula como:
| | | | ) ( 2 log
2
1
) ( 2 log
2
1
) (
0 2
2 2
2 tx N X k
BW N S e e Y H + = + = t o o t
Se puede demostrar que la entropa diferencial de N
k
se calcula como:
) 2 ( log
2
1
) 2 ( log
2
1
) (
0 2
2
2 tx N k
BW eN e N H t o t = =
De los resultados anteriores y con base en la definicin de la capacidad de
informacin tenemos que:
|
|
.
|

\
|
+ =
|
|
.
|

\
|
+ =
tx N
X
BW N
S
C
0
2
2
2
2
1 log
2
1
1 log
2
1
o
o
Bits por transmisin
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
20
Teorema de la Capacidad de Informacin
Si multiplicamos este resultado por el nmero de transmisiones /segundo ,
el cual es 2W obtendremos la capacidad de canal en bits por segundos
(bps):
tx
tx
BW
BW N
S
C 2 1 log
2
1
0
2

|
|
.
|

\
|
+ =
Bits por
segundos |
|
.
|

\
|
+ =
tx
tx
BW N
S
BW C
0
2
1 log
Con base en los resultados anteriores, es posible establecer el tercero y mas
famoso teorema de Shannon, el TEOREMA DE LA CAPACIDAD DE LA
INFORMACIN, dado por:
La capacidad de informacin de canal continuo de ancho de banda BW
tx

hertz, perturbado por ruido blanco gaussiano aditivo con densidad espectral
de potencia N
0
/2 y limitado en ancho de banda a BW
tx
, est dado por:
Bits por
segundos |
|
.
|

\
|
+ =
tx
BW N
S
W C
0
2
1 log
tx
BW N
S
SNR
0
=
Note que la razn seal a ruido SNR del
canal est dado por:
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
21
Teorema de la Capacidad de Informacin
El teorema de Shannon pone un lmite en la tasa
de transmisin de datos, no en la probabilidad de
error:
Es tericamente posible transmitir informacin a
cualquier tasa , con una probabilidad
arbitrariamente pequea de error al utilizar un esquema
de codificacin lo suficientemtne complejo .

Para una tasa de informacin , NO es posible
encontrar un cdigo que pueda materializar una
probabilidad de error arbitrariamente pequea.
C R
b
s
b
R
C R
b
>
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
22
Fronteras e Implicaciones del 3er Teorema de
Shannon
C/W [bits/s/Hz]
SNR [bits/s/Hz]
Regin prctica
Region no
alcanzable
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
23
Ejemplo 2
Encuentre la capacidad de un canal telefnico con ancho de banda de
transmisin de 3,000Hz y SNR de 39 dB.
943 7 39 , SNR SNR : que Tenemos
dB
= =
( ) bps , , log , C
to: tan Por
867 38 943 7 1 000 3
2
~ + =
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
24
Fronteras e Implicaciones del 3er Teorema
de Shannon
Consideremos un sistema ideal definido como uno que transmite datos
binarios a una tasa de bits R
b
igual a la capacidad de informacin C (R
b
=C).
Entonces podemos expresar la potencia promedio transmitida como:
C E R E S
b b b
= =
Donde E
b
es la energa transmitida por el bit. Por tanto, el sistema ideal se
define mediante la ecuacin:
|
|
.
|

\
|
+ =
tx
b
tx
BW
C
N
E
BW
C
0
2
1 log
De esta manera equivalente, podemos definir la relacin de la energa de la
seal por bit a la densidad espectral de la potencia de ruido E
b
/N
0
en
trminos de la razn C/B
T
para el sistema como:
tx
BW C
b
CBW N
E
tx
1 2
/
0

=
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
25
Fronteras e Implicaciones del 3er Teorema de
Shannon
El diagrama de la
relacin R
b
/BW en
funcin de E
b
/N
0
recibe el
nombre de diagrama de
eficiencia de ancho de
banda.

2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
26
Capacidad de Canal de Shannon con AWGN
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
27
Fronteras e Implicaciones del 3er Teorema de
Shannon
1. Para un ancho de banda infinito, la razn E
b
/N
0
tiende al valor lmite
dB 1.6 693 0 2 log lim
10
0 0
= = =
|
|
.
|

\
|
=
|
|
.
|

\
|

.
N
E
N
E
b
W
b
El valor lmite correspondiente de la capacidad de canal se obtiene
dejando que el ancho de banda W

del canal tienda a infinito;
consecuentemente encontramos:
e
N
S
C C
W
2
0
log lim = =

Lmite de Shannon para un

canal AWGN
Existe un valor limitante de bajo el cual NO PUEDE
HABER TRANSMISIN LIBRE DE ERRORES a cualquier tasa de
transmisin de informacin.
El hecho aislado de incrementar meramente el ancho de banda
por s , no signfica que la capacidad aumentada a algn valor
deseado.
0
/ N E
b
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
28
Fronteras e Implicaciones del 3er Teorema de
Shannon
[dB] /
0
N E
b
W/C [Hz/bits/s]
Regin
Prctical
Region No
alcanzable
-1.6 [dB]
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
29
Fronteras e Implicaciones del 3er Teorema de
Shannon
3. El diagrama subraya los compromisos potenciales entre E
b
/N
0
, R
b
/W y la
probabilidad del error de smbolo P
e
. En particular, podemos observar el
movimiento del punto de operacin a lo largo de una lnea horizontal como
el intercambio de P
e
en funcin E
b
/N
0
para una R
b
/W fija. Por otra parte, es
posible advertir el movimiento del punto de operacin a lo largo de unalnea
vertical como el intercambio de P
e
en funcin de R
b
/W para una E
b
/N
0
fija.

2. La frontera de la capacidad, definida por la curva para la tasa de bits crtica
R
b
=C, separa las combinaciones de parmetros del sistema que tienen el
potencial para soportar una transmisin sin errores (R
b
<C) de aquellas para
las cuales no es posible ese tipo de transmisin (R
b
>C).
2S 2009 - I. Zamora Uni VII-Conf 18: Codificacin de
Canal
30