Professional Documents
Culture Documents
FACULTAD DE INGENIERÍA
DEPARTAMENTO DE INGENIERÍA ELÉCTRICA
APUNTES
COMUNICACIONES DIGITALES
Cod. 549 175
Ingenierı́a Civil en Telecomunicaciones
Primera Edición
23 de abril de 2008
Prólogo
El presente libro, nace bajo la necesidad de lograr un mejor entendimiento de los alumnos
que toman la asignatura de Comunicaciones Digitales, obligatoria para la carrera de Inge-
nierı́a Civil en Telecomunicaciones de la Facultad de Ingenierı́a, Universidad de Concepción,
Concepción, Chile.
Esta asignatura es planteada con la concepción original de que el alumno maneja los con-
ceptos de los sistemas de comunicación (“Sistemas de Comunicación” Cod. 549 164) y princi-
palmente de estadı́stica y procesos aleatorios (“Procesos Aleatorios” y “Estadı́stica Aplicada”
Cods. 549 150, 549 103 respectivamente) cursados como requisitos previos de la presente.
El documento está totalmente escrito utilizando LATEX mediante la interfaz gráfica Kile para
Ubuntu Linux. Además, dada la naturaleza de la obra, en forma completa está licenciada por
Creative Commons. Esta Licencia Creative Commons te permite copiar, distribuir, comunicar
y ejecutar públicamente la obra pero bajo las siguientes condiciones:
Atribución. Debes reconocer y citar la obra de la forma especificada por el autor o el licen-
ciante.
Sin Derivadas. No puedes alterar, transformar o generar una obra derivada a partir de esta
obra.
Por otro lado, al reutilizar o distribuir la obra, tienes que dejar bien claro los términos de
la licencia de esta obra. Alguna de estas condiciones puede no aplicarse si se obtiene el permiso
del titular de los derechos de autor. Nada en esta licencia menoscaba o restringe los derechos
morales del autor.
El formato utilizado en el desarrollo de este documento, está basado en los apuntes del Prof.
José Espinoza, PhD. Departamento de Ingenierı́a Eléctrica, Universidad de Concepción.
i
Sebastián E. Godoy
Ingeniero Civil Electrónico
Colaborador Académico
Departamento de Ing. Eléctrica
Facultad de Ingenierı́a
Universidad de Concepción
Casilla 160-C, Correo 3
Concepción, CHILE
Tel: +56 (41) 2203633
Fax: +56 (41) 2246999
e-mail: segodoy@udec.cl
web: http://www.udec.cl/~segodoy
ii
Índice General
Prólogo II
1. Introducción 1
1.1. ¿Por qué comunicaciones digitales? . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Clasificación de Señales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2.1. Señales Determinı́sticas y Aleatorias . . . . . . . . . . . . . . . . . . . . 1
1.2.2. Señales Periódicas y No periódias . . . . . . . . . . . . . . . . . . . . . . 2
1.2.3. Señales Análogas y Discretas . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.4. Señales de Energı́a y Potencia . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.5. Función Impulso unitaria . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.6. Series de Fourier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3. Densidad Espectral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.1. Teorema de Parseval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.2. Densidad Espectral de Energı́a (ESD) . . . . . . . . . . . . . . . . . . . . 5
1.3.3. Densidad Espectral de Potencia (PSD) . . . . . . . . . . . . . . . . . . . 5
1.4. Autocorrelación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5. Probabilidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1. Variables Aleatorias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.2. Procesos Aleatorios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5.3. PSD de un Proceso Aleatorio . . . . . . . . . . . . . . . . . . . . . . . . 11
2. Teorı́a de la Información 12
2.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2. Concepto de Información . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3. Medida de la Información . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.1. Entropı́a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.2. Entropı́a Conjunta y Condicional . . . . . . . . . . . . . . . . . . . . . . 15
2.3.3. Información Mutua . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4. Representación de Canales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.5. Capacidad del Canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.6. Algoritmos de Códificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.6.1. Código Huffman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
iii
3. Técnicas de Transmisión Digital 23
3.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2. Muestreo de una Señal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3. Cuantización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3.1. Cuantización Escalar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3.2. Cuantización Uniforme . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.3. Cuantización Nouniforme . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4. Encoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.5. Codificación por Forma de Onda . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.5.1. Pulse Code Modulation (PCM) . . . . . . . . . . . . . . . . . . . . . . . 29
iv
Capı́tulo 1
Introducción
Los tópicos que serán tratados acá se presentan como la base conceptual de los próximos
capı́tulos, haciendo una revisión de los conceptos básicos como probabilidades y estadı́stica,
variables y procesos aleatorios. Este capı́tulo solo pretende ser una revisión de estos conceptos
que fueron fuertemente estudiados en las asignaturas previas.
1
CAPÍTULO 1. INTRODUCCIÓN
v 2 (t)
p(t) = = i2 (t)R
R
En sistemas de comunicaciones se trabaja con el concepto de “potencia normalizada” por
lo que se asume que el valor de la resistencia R es unitario (R=1Ω), por lo que ambos lados
de la ecuación anterior tiene la misma forma sin importar si hablamos de señales de voltaje
o corriente. Entonces, el concepto de potencia normalizada nos permite expresar la potencia
instantanea de la forma
p(t) = w 2 (t) (1.2)
en dónde w(t) representa o una señal de voltaje o de corriente.
La energı́a disipada durante el intervalo de tiempo ] − T2 , T2 [ por una señal real con potencia
instantánea expresada por la Ecuación (1.2), puede ser escrita como:
Z T
2
ET = w 2 (t) dt (1.3)
− T2
2
CAPÍTULO 1. INTRODUCCIÓN
En el mundo real, todas las señales tienen energı́a finita, sin embargo consecuencia de la
Ecuación (1.1), las señales periódicas por definición existen para todo tiempo, por lo que tienen
energı́a infinita. Además, para poder trabajar con señales aleatorias que tienen energı́a infinita,
se requiere definir una clase de señales llamadas señales de potencia, que serán aquellas que
si y solo si son no nulas y tienen potencia promedio finita para todo el tiempo, 0 < P < ∞, en
donde: Z T
1 2
P = lı́m w 2 (t) dt (1.6)
T →∞ T − T
2
Las definiciones de señales de energı́a y potencia son mutuamente excluyentes, ya que una
señal de energı́a tiene energı́a finita pero potencia media nula, en cambio una señal de potencia
tiene potencia media finita pero energı́a infinita. Como norma general, las señales periódicas y
las señales aleatorias son consideradas de potencia. Por otro lado, las señales que a la vez son
no periódicas y determinı́sticas son clasificadas como señales de energı́a.
Ejemplo 1.1
Clasificar la señal e−t como señal de potencia o de energı́a.
1
R T2
Sol. La potencia media de la señal está dada por P = lı́mT →∞ T
e−2t dt = ∞, por lo que
− T2
R∞
en primera instancia se podrı́a decir que es de energı́a, sin embargo E = −∞ e−2t dt = ∞ por
lo que no cabe en ninguna de las clasificaciones .
La función δ(t − t0 ) puede ser representada gráficamente como un impulso a t = t0 con una
altura igual al peso que este tiene.
1
Peso se refiere al área bajo el pulso.
3
CAPÍTULO 1. INTRODUCCIÓN
en donde
α+T0
1
Z
cn = w(t)e−jnω0t dt , (1.8)
T0 α
2π
y ω0 = 2πf0 = T0
, siendo T0 el perı́odo de la señal w(t).
Ejemplo 1.2
A , t ∈ (2k T20 , (2k + 1) T20 ]
Encontrar la serie de fourier de la señal w(t) = con k = 0, 1, 2, . . . .
0 , i.o.c.
RT R T0
Sol. Se comienza calculando el valor continuo: c0 = T10 0 0 w(t)dt = TA0 0 2 dt = A2 . Ahora,
RT R T0
los otros valores de los coeficientes serán: cn = T10 0 0 w(t)e−jnω0t dt = TA0 0 2 w(t)e−jnω0t dt =
A
j 2πn (e−jnπ − 1). Dado
que para n par, e−jnπ = 1 y para n impar e−jnπ = −1, los coeficientes
A2 , n=0
A
están dados por: cn = −j nπ , n impar .
0 , n par
4
CAPÍTULO 1. INTRODUCCIÓN
La cantidad ξ(f ) es la forma de onda de la Densidad Espectral del Energı́a (ESD) de la señal
w(t). Ası́, se tiene que la energı́a total puede ser obtenida integrando la ESD con respecto a la
frecuencia: Z ∞
E = ξ(f ) df (1.11)
−∞
Aplicando el teorema de Parseval para señales reales y periódicas, la potencia quedará ex-
presada como:
Z T0 ∞
1 2
2
X
P = w (t) dt = |cn |2 (1.12)
T0 − T20 n=−∞
en donde |cn | corresponden a los términos complejos de la serie de Fourier para una señal
periódica.
La función Densidad Espectral de Potencia (PSD) de la señal periódica w(t) y que será de-
notada por ρ(f ), es una función real, par y no-negativa que se define por:
+∞
X
ρ(f ) = |cn |2 δ(f − nf0 ) (1.13)
n=−∞
en donde se puede notar que la PSD de una señal periódica es una función discreta de la
frecuencia. Nótese que corresponde solo a la PSD de una señal periódica.
Para una señal no-periódica se define una versión truncada de la señal, mediante:
5
CAPÍTULO 1. INTRODUCCIÓN
Ahora, usando la Ecuación (1.6) y el teorema de Parseval dado por la Ecuacion (1.9) se tiene
que la potencia normalizada promedio está determinada por:
1 ∞ 2 1 ∞ |WT (f )|2
Z Z Z ∞
2
P = lı́m wT (t) dt = lı́m |WT (f )| df = lı́m dt
T →∞ T −∞ T →∞ T −∞ −∞ T →∞ T
|WT (f )|2
ρ(f ) = lı́m (1.14)
T →∞ T
Ejemplo 1.3
Encuentre la potencia promedio normalizada de la señal w(t) = A cos(ω0 t) usando el promedio
temporal y en base a las series de Fourier.
T
2 R 0 2
Sol. Usando la Ecuación (1.12), se tiene P = AT0 2T0 cos2 (ω0 t) dt = A2 . Por otra parte, al
− 2
usar la Ecuación (1.13), se obtiene por la Ecuación (1.8) que c1 = c−1 = A2 y cn = 0, ∀ n =
2 R∞ 2
0, ±2, ±3, . . . , luego ρ(f ) = A4 [δ(f + f0 ) + δ(f − f0 )], entonces P = −∞ ρ(f ) = A2 .
1.4. Autocorrelación
La autocorrelación relaciona cuanto se parece una señal a una versión retardada de la misma.
La autocorrelación R (τ ) se define por
Z ∞
R (τ ) = w(t)w(t + τ ) dt, para − ∞ < τ < ∞ (1.15)
−∞
La función de autocorrelación no es una función del tiempo, sino que de la diferencia temporal
que existe entre la señal y su versión retardada. Esto implica que τ puede ser considerado como
un parámetro de búsqueda o escaneo.
Las propiedades de la función de autocorrelación de una señal real son:
6
CAPÍTULO 1. INTRODUCCIÓN
Ejemplo 1.4
Determine la PSD, la potencia media y el valor RMS de la señal w(t) = A sin(ω0 t).
A2
Sol. La función de autocorrelación estará determinada por R (τ ) =<
h w(t)w(t+τ
i ) >= 2
cos(ω0 t),
A2 A2
entonces su PSD estará determinada por ρ(f ) = F [R (τ )] = F 2
cos(ω0 t) = 4 [δ(f + f0 ) +
A2
√
δ(f − f0 )]. La potencia media será P = R (0) = 2
y el valor RMS wRM S = P = √A2 .
1.5. Probabilidades
Se llama Evento a un resultado en particular de un experimento, Espacio Muestral Ω a
la colección de todos los resultados de eventos posibles.
La probabilidad de que ocurra un evento A denotada por P (A), está definida como
nA
P (A) = lı́m
n→∞ n
en donde nA es al número de veces que A aparece en los n intentos en que se realizó el ex-
perimento. Ası́, P será una probabilidad si es una función de eventos y satisface las siguientes
condiciones:
1. P (A) ≥ 0 para cualquier evento A.
2. P (Ω) = 1.
Pn
3. Si A1 , A2 , . . . , An son eventos disjuntos, entonces P (A1 A2 · · · An ) = i=1 P (Ai )
4. P (A) < 1 para cualquier evento A.
El concepto de Probabilidad Condicional, busca cuantificar la probabilidad de que ocurra
un evento A, dado que ya ocurrió un evento B. Se denota por P (A/B) y está definida por:
P (A ∩ B)
P (A/B) = (1.16)
P (B)
en donde p(B) 6= 0.
Por otro lado, el Teorema de Bayes dice que:
P (AB) = P (A ∩ B) = P (B/A)P (A) = P (A/B)P (B) (1.17)
Luego, la probabilidad condicional estará dada por
P (B/A)P (A)
P (A/B) =
P (B)
Se dice que dos eventos A y B son independientes si y solo si
P (A/B) = P (A) ∧ P (B/A) = P (B)
7
CAPÍTULO 1. INTRODUCCIÓN
Ejemplo 1.5
Considere el canal de comunicación digital de 1 bit. Determine la probabilidad del evento error,
considerando que el transmisor tiene la misma probabilidad de enviar un cero o un uno.
Sol. Los resultados posibles son: recibir un cero cuando se envio un cero o cuando se en-
vió un uno, o recibir un uno cuando se envió un cero o un uno, lo que podrı́a ser resumido
en Ω = {(0t, 0r), (0t, 1r), (1t, 0r), (1t1r)}. Ası́ el evento error estará determinado por el sub-
conjunto E = {(0t, 1r), (1t, 0r)}. Asumiendo que la probabilidad de recibir un error puntu-
al es p, entonces P (0r/1t) = p y P (1r/0t) = p, luego se tiene por Teorema de Bayes que
P (0t, 1r) = P (0r/1t)P (0t) = 0,5p y de igual forma P (1t, 0r) = 0,5p. Ahora bien, la probabilidad
del evento error será P (E) = P [(0t, 1r) ∪ (1t, 0r)] = P (0t, 1r) + P (1t, 0r) = 0,5p + 0,5p = p.
1. 0 ≤ FX (x) ≤ 1.
2. FX (x1 ) ≤ FX (x2 ), si x1 ≤ x2 .
3. FX (−∞) = 0.
4. FX (+∞) = 1.
La Función de Densidad de Probabilidad (PDF) denotada por fX (x) está definida por:
dFX (x)
fX (x) = (1.19)
dx
y recibe su nombre en base a que la probabilidad del evento x1 ≤ X ≤ x2 es:
P (x1 ≤ X ≤ x2 ) = P (X ≤ x2 ) − P (X ≤ x1 )
= FX (x2 ) − FX (x1 )
Z x2
= fX (x) dx
x1
8
CAPÍTULO 1. INTRODUCCIÓN
R∞
2. Tiene un área total unitaria: −∞
fX (x) dx = FX (+∞) − FX (−∞) = 1
Se define el Valor Esperado de una variable aleatoria X como
Z ∞
E {X} = x pX (x) dx (1.20)
−∞
y a la vez corresponde a la media mX o primer momento. El operador E {.} es lineal, vale decir:
E {αf1 (x) + βf2 (x)} = αE {f1 (x)} + βE {f2 (x)}
en donde α y β con constantes reales.
Se define también el n-ésimo momento de la variable aleatoria mediante:
Z ∞
n
E {X } = xn pX (x) dx (1.21)
−∞
9
CAPÍTULO 1. INTRODUCCIÓN
Estacionalidad
Un proceso aleatorio X(t) es llamado Estacionario en el Sentido Estricto si ninguna de sus es-
tadı́sticas dependen de ninguna forma del tiempo. Un proceso aleatorio es llamado Estacionario
en Sentido Amplio (wide-sense stationary, WSS) si dos de su media y su función de autocor-
relación no varı́a ni depende del tiempo. Ası́ un proceso es WSS si:
luego, dado que la autocorrelación no depende del tiempo, cualquier par de valores de X(t) que
estén separados en el tiempo por τ = t1 − t2 tienen el mismo valor de correlación. Ası́, para
sistemas estacionarios, R (t1 , t2 ) ≡ R (τ ).
Resulta evidente que si un proceso es estrictamente estacionario, también lo es en sentido
amplio, pero no viceversa.
Ejemplo 1.6
Sea el siguiente proceso aleatorio X(t) = A cos(ω0 t + θ), con A y ω0 constantes y θ ∼ U[0, 2π].
Determinar si es estacionario o WSS.
Sol. Considerando que la distribución es uniforme para la variable θ, entonces la probabil-
idad de ésta será RP (θ) = 1/(2π), ∀ θ ∈ [0, 2π]. Luego, su primer momento estará dado
∞
por E {X(ti )} = −∞ A cos(ω0 ti + θ)P (θ) dθ = 0; para el segundo momento se tiene que
∞
E {X 2 (ti )} = −∞ A2 cos2 (ω0 ti +θ)P (θ) dθ = A2 /2, el tercero E {X 3 (ti )} = 0. Haciendo esto para
R
10
CAPÍTULO 1. INTRODUCCIÓN
Ejemplo 1.7
Considere un detector inalámbrico que se modela linealmente por la ecuación y(t) = ax(t) + b +
u(t) en donde a y b son constantes y x(t) es una variable aleatoria uniformemente distribuida
en el rango [xmı́n , xmáx ]. Considerando que u(t) es un ruido gaussiano con media nula y varianza
conocida, se pide encontrar las constantes a y b.
Sol. Considerando que todos los procesos aleatorios son estacionarios, la media estará deter-
minada por ȳ = E {ax(t) + b + u(t)} = ax̄ + b. p Por otra parte, la varianza está dada por
2 2 2 2
σY = a σX + σu , por lo que la ganancia será a = σY2 − σu2 /σX por lo que el offset se puede de-
spejar directamente y obtener b = ȳ − ax̄. Esto es válido pues las variables x̄ y σX son conocidas
desde la distribución uniforme.
11
Capı́tulo 2
Teorı́a de la Información
2.1. Introducción
La Teorı́a de la Información busca contestar dos preguntas fundamentales en la teorı́a de las
comunicaciones: Cuál es la última compresión de datos (Respuesta: La entropı́a H) y Cuál es la
última tasa de transmisión de la comunicación (Respuesta: La capacidad del canal C). Por esta
misma razón, la teorı́a de la información se considera como una sub-materia de la teorı́a de las
comunicaciones, sin embargo resulta ser un área muchı́simo más grande pues tiene mucho que
aportar en otras áreas como Fı́sica Estadı́stica (Termodinámica), Ciencias de la Computación
(Complejidad de Kolmogorov), Inferencia Estadı́stica, Probabilidad y Estadı́stica entre otras
materias.
12
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
Por otro lado, una señal sinusoidal de voltaje varı́a en el tiempo, sin embargo una vez que
está se ha caracterizado midiendo su amplitud, frecuencia y fase, no existe ninguna información
nueva que ésta señal pueda aportar → La información está relacionada con cambios impredeci-
bles.
Ejemplo 2.1
Considerando el experimento de lanzar una moneda, la probabilidad de tener “sello” es 0,5. Una
vez que esto haya sucedido, se tiene Isello = − log2 (0,5) = 1 bit de información.
Ejemplo 2.2
Considerando el experimento de lanzar un dado, la probabilidad de que salga cualquier número
es 1/6. Suponiendo que salió un 4, la cantidad de información es: I4 = log2 (6) = 2,5850 bits de
información.
Ejemplo 2.3
Los sı́mbolos A, B, C y D ocurren con probabilidades 1/2, 1/4, 1/8 y 1/8 respectivamente.
Calcule la información en el mensaje de tres sı́mbolos X = BDA suponiendo que estos son
estadı́sticamente independientes.
Sol. Como los eventos son estadı́sticamente independientes, la medida de información (por
ser logarı́tmica) resulta aditiva, luego: IX = − log2 (PX ) = − log2 (PB PD PA ) = − log2 (PB ) −
log2 (PD ) − log2 (PA ) = log2 4 + log2 8 + log2 2 = 2 + 3 + 1 = 6 bits de información.
1
Es decir, que indican muy poca incertidumbre en el resultado.
13
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
2.3.1. Entropı́a
Lo anteriormente discutido, define la medida de la información para el caso en que todos
los mensajes son igualmente probables, lo que resulta ser sólo un caso particular. A modo de
generalización se define una “información promedio” de cada mensaje, llamada Entropı́a, H.
La entropı́a corresponde a una medida de la incertidumbre de una variable aleatoria. Defı́nase
X como una variable aleatoria discreta con alfabeto Ω y función de probabilidad p(x) = P r(X =
x). Ası́, se define la Entropı́a H(X) de la variable aleatoria discreta X como:
X
H(X) = − p(x) log p(x) (2.2)
x∈Ω
Ejemplo 2.4
Considere la variable aleatoria X ∈ {0, 1}. Calcule la entropı́a de X, considerando que la fuente
de información es sin-memoria.
Sol. Considerando que la probabilidad de que X = 1 es p, la probabilidad de que X = 0
será 1 − p. Entonces su entropı́a será H(X) = −p log p − (1 − p) log(1 − p) , H(p). Esta función
es conocida como la Función de Entropı́a Binaria.
En particular H(p) = 1 bit cuando p = 0,5. Si la función H(p) se grafica con respecto a
p se puede notar una de las propiedades básicas de la entropı́a: es una función cóncava de la
distribución y nula para p = 0 ó 1. Además el máximo ocurre cuando p = 0,5 lo que es claro
pues corresponde al punto de máxima incertidumbre.
Ejemplo 2.5
Una fuente de información discreta sin memoria tiene un alfabeto de tamaño N y las salidas
son equiprobables. Encuentre la entropia de esta fuente.
Sol. Como los eventos son equiprobables, todos tienen una probabilidad de N1 , luego H(x) =
− N 1 1
i=1 N log N = log N.
P
14
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
por lo que se puede decir que la entropia conjunta es simplemente la entropia de una variable
aleatoria vectorial.
Ejemplo 2.6
Dos variables aleatorias binarias X e Y están distribuı́das de acuerdo a una PMF conjunta dada
por P (X = 0, Y = 0) = 41 , P (X = 0, Y = 1) = 14 y P (X = 1, Y = 1) = 12 . Determine los valores
de H(X), H(Y ) y H(X, Y ).
Sol. Dada la distribución, se tiene que P (X = 1, Y = 0) = 0. Ası́ P (X = 0) = P (X = 0, Y =
0) + P (X = 0, Y = 1) = 21 , entonces se tiene que P (X = 1) = 21 , luego H(X) = − log 12 = 1.
Por otra parte, P (Y = 0) = 41 , lo que implica que P (Y = 1) = 43 , luego H(Y ) = 0,8113. Ahora
bien, H(X, Y ) = − 41 log 41 − 21 log 21 − 14 log 41 = 32 .
lo que a su vez, como corolario, dice que esto se cumple en forma inversa, vale decir
15
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
.
Para comprobar esto, se puede considerar la definición de probabilidad condicional
p(X, Y ) = p(X)p(Y |X)
log p(X, Y ) = log[p(X)p(Y |X)]
= log p(X) + log p(Y |X)
ahora, tomando la esperanza en ambos lados de la ecuación, se obtiene el resultado esperado.
Ejemplo 2.7
Para el Ejemplo 2.6, calcule H(X|Y ) y H(Y |X).
Sol. Se tiene que H(Y |X) = H(X, Y ) − H(X) = 21 , y H(X|Y ) = 1,5 − 0,8113 = 0,6887.
16
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
Las rutas entrada-salida se indican como una probabilidad condicional Pij = P (yj |xi ), rep-
resentando la probabilidad de obtener a la salida yj , dado que a la entrada xi . Esta probabilidad
recibe el nombre de Probabilidad de Transición del Canal.
17
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
La Matriz del canal es útil para encontrar probabilidades de salida de acuerdo a las probabil-
idades de entrada. Considere la matriz fila de n entradas dada por P(X) = [P (x1 ) · · · P (xn )].
Para una matriz de transición dada por P(Y|X), la matriz de m salidas estará dada por
Resulta interesante mencionar que si la matriz P(X) es escrita en forma diagonal, el producto
dado por diag(P(X))P(Y|X) define la Matriz de Unión de Probabilidades y es denotada
por P(X, Y). En palabras simples, el término P (xi , yj ) representa la probabilidad de unión de
transmitir xi y recibir yj . Matemáticamente la matriz de unión está dada por:
P (x1 ) 0 ··· 0 P (y1|x1 ) P (y2|x1 ) · · · P (ym|x1 )
0 P (x2 ) · · · 0 P (y1|x2 ) P (y2|x2 ) · · · P (ym|x2 )
P(X, Y) = .. .. .. .. .. ..
.. ..
. .
. . . . . .
0 0 0 P (xn ) P (y1|xn ) P (y2 |xn ) · · · P (ym|xn )
Ejemplo 2.8
Considere un canal binario de dos entradas y dos salidas, en donde la fuente es equiprobable y
la matriz de transición está uniformemente distribuı́da al transmitir sin error. Se pide encontrar
la matriz de transición, la matriz de salida, la matriz de unión y la probabilidad de error.
Sol. Dada la equiprobabilidad de la fuente, la matriz de entrada está dada por P(X) = [0,5 0,5].
Considerando que
P (1|0) = P (0|1) = ǫ, la matriz de unión estará dada por P(Y|X) =
1−ǫ ǫ
. Ası́, la matriz de salida será P(Y) = [0,5 0,5]. La matriz de unión será P(X, Y) =
ǫ 1−ǫ
0,5 0
P(Y|X) = 0,5 P(Y|X). La probabilidad de transmisión con error estará dada por
0 0,5
P (E) = P (0r, 1t) + P (1r, 0t) = P (1)P (0|1) + P (0)P (1|0) = 0,5ǫ + 0,5ǫ = ǫ.
18
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
principio de que el canal posee su propio lı́mite fundamental para la transmisión de información
a través de él.
Evidentemente, el objetivo principal cuando se transmite información sobre cualquier canal
de comunicación es la confianza, la que puede ser medida por la probabilidad de una recepción
correcta en el receptor. Un resultado muy importante de la teorı́a de la información, es que
las comunicaciones confiables2 son posibles sobre canales ruidosos, mientras la tasa de trans-
misión sea menor que cierto valor, llamado Capacidad del Canal. Este importante resultado,
fué dado a conocer inicialmente por Shannon (1948) y es conocido como el Noisy Channel Cod-
ing Theorem. Éste teorema enuncia que la limitación básica que el ruido provoca en un canal
de comunicación no es en la confiabilidad de la comunicación, sino en la velocidad de dicha
comunicación.
Definimos anteriormente a un canal discreto como un sistema con alfabeto de entrada
X, alfabeto de salida Y , y matriz de probabilidades de transición P(Y|X), que expresa la
probabilidad de observar un sı́mbolo y a la salida, dado que enviamos un sı́mbolo x. Un canal se
dice sin-memoria si la distribución de probabilidades de la salida depende solo de la entrada
en ese tiempo y es condicionalmene independiente de las entradas o salidas anteriores.
Ası́, se define la Capacidad del Canal de información de un canal discreto y sin memoria
mediante la relación:
C = máx I(X; Y ) (2.8)
p(x)
en donde el máximo es tomado sobre todas las posibles distribuciones de la entrada p(x). Se
debe entender por esta definición que corresponde al máximo valor de la información mutua,
que es la información promedio máxima por sı́mbolo que puede ser transmitido a través del
canal.
La maximización es con respecto a las probabilidades de la fuente, puesto que las probabili-
dades de transición son fijadas por el canal. Sin embargo, la capacidad de canal es una función
solamente delas probabilidades de transición del canal, puesto que el proceso de la maximización
elimina la dependencia de sobre las probabilidades de la fuente.
Ejemplo 2.9
Encuentre la Capacidad del Canal para un canal discreto, sin memoria y sin ruido.
Sol. Para un canal sin memoria y sin ruido, las probabilidades de error son nulas, lo que equivale
a decir que la conexión es uno-a-uno entre las entradas y salidas. Luego p(xi |yj ) = 0 ∀i 6= j y por
lo mismo p(xi |yj ) = 1 ∀i = j. Considerando que H(X|Y ) = − N
P PN
i=1 j=1 p(xi , yj ) log p(xi |yj ),
se tiene que H(X|Y ) = 0. Ası́, la información mutua será I(X; Y ) = H(X) − H(X|Y ) = H(X).
Para maximizar la entropı́a de la fuente, anteriormente se dijo que todos Plos sı́mbolos de la fuente
N
debı́an ser equiprobables, entonces C = Imáx (X; Y ) = Hmáx (X) = − i=1 N1 log N1 = log N, en
donde N es el número de sı́mbolos de la fuente.
2
Se entiende por comunicación confiable como aquella en que la transmisión se logra con una probabilidad
de error inferior a un valor pre-establecido.
19
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
Ejemplo 2.10
Encuentre la capacidad del canal para un canal binario simétrico, en donde la probabilidad de
recepción erronea es p y la probabilidad de que se envie un cero es α.
Sol. Para calcular la capacidad del canal, se maximiza
P P I(X; Y ) = H(Y ) − H(Y |X). La entropı́a
condicional está determinada por H(Y |X) = − i j p(xi , yj ) log p(yj |xi ) = −α(1 − p) log(1 −
p) − (1 − α)p log p − αp log p − (1 − α)(1 − p) log(1 − p) = H(p), considerando la definición de
H(p) dada en el Ejemplo 2.4. Ası́ I(X; Y ) = H(Y ) − H(p). Entonces, la información mutua
será máxima cuándo la entropı́a de Y sea máxima, caso que se dá para una distribución uniforme
de los sı́mbolos. En pocas palabras, H(Y ) ≤ 1, por lo que I(X; Y ) ≤ 1−H(p), y C = 1−H(p).
A pesar de la importancia de este resultado, éste no da ningún algoritmo para diseñar códigos
que se aproximen a esta condición; por esta razón se estudiará el Código Huffman.
20
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
Código 1. El código no resulta ser de decodificación única, lo que implica que una secuencia
de dı́gitos binarios puede tener 2 o más interpretaciones, lo que evidentemente es algo no
deseable. Por ejemplo, al recibir la secuencia 110110 puede ser interpretado como a5 a5 ,
ó como a4 a2 a3 . Esto se debe a que el código no cumple la condición del prefijo 3.
Código 2. Este código no presenta el problema de confundir entre una palabra y otra, pues
cada uno está delimitado por un 1, por lo que se dice que el código es autosincronizado. A
su vez, dicho lı́mite presenta el problema de que se debe esperar la aparición del próximo
1 para saber el final de la palabra previa; en otras palabras se dice que el código no es
instantáneo.
Código 3. Al igual que para el código anterior, este resulta ser autosincronizado. Además, y
como gran diferencia, el presente código si es instantaneo, pues con la aparición de un
uno, se sabe que se ha puesto fin a la palabra actual.
Evidentemente el código 4 es el código más deseable de todos los expuestos dado lo óptimo
que resulta ser en su decodificación única, ser instantáneo y además de menor largo medio de
palabra. Éste código es un ejemplo de código Huffman.
Se define el largo medio de un código mediante:
X
R̄ = p(x)l(x) , (2.9)
x
en donde l(x) es el largo del código de palabra asignado a la salida x. Se puede demostrar que
R̄ satisface la relación:
H(X) ≤ R̄ < H(X) + 1 ,
por lo que la eficiencia del código Huffman está dado por:
H(X)
η =
R̄
3
Ninguna palabra del código debe ser el comienzo de otra.
21
CAPÍTULO 2. TEORÍA DE LA INFORMACIÓN
2. Agrupar los menos probables y generar una nueva salida cuya probabilidad es la suma de
las probabilidades correspondientes a las salidas agrupadas
5. Recorrer el arbol en forma inversa, asignando 0 o 1 a cada rama. Repetir hasta llegar a
las salidas originales.
Ejemplo 2.11
Encuentre el código Huffman para la fuente descrita en la Tabla 2.1. Calcule además el largo
promedio, y la eficiencia del código encontrado.
Sol. Las probabilidades se mantienen en orden, pues fueron asignadas en forma decreciente,
luego:
a1 ( 12 ) → a1 ( 21 ) → a1 ( 12 ) → a1 ( 12 ) 0 0
a2 ( 14 ) → a2 ( 41 ) → a2 ( 14 ) 0⌉ a2345 ( 21 ) 1 10
a3 ( 18 ) → a3 ( 81 ) 0⌉ a345 ( 14 ) 1⌋ 110
1
a4 ( 16 ) 0⌉ a45 ( 81 ) 1⌋ 1110
1
a5 ( 16 ) 1⌋ 1111
que corresponde al código originalmente dado. El largo medio será R̄ = 0,5 · 1 + 0,25 · 2 +
0,125 · 3 + 0,0625 · 4 + 0,0625 · 4 = 1,8750. La entropı́a de la fuente está dada por H(X) =
−0,5 log 0,5 − 0,25 log 0,25 − 0,125 log 0,125 − 0,0625 log 0,0625 − 0,0625 log 0,0625 = 2,0488,
ası́ la eficiencia será η = 91,52 %.
22
Capı́tulo 3
3.1. Introducción
Ya se han mencionado las ventajas de que la transmisión de información en forma digital
es mejor que hacerlo de forma análoga. Por lo mismo, resulta de vital importancia conocer el
procedimiento de transformar una señal análoga en digital1 .
Para realizar dicha tarea, existen tres operaciones: La señal análoga debe ser muestreada,
obteniendo una señal de tiempo discreto y amplitud continua. Luego los valores muestreados
que pueden tomar infinitos valores en amplitud, son cuantificados, lo que significa que son
redondeados a un número finito de posibles valores. La tercera etapa en el proceso de conversión
análogo-digital es la codificación, en donde una secuencia de bits es asignada para los diferentes
valores posibles de la salida del cuantificador. Dado que el número de salidas es finito, cada
muestra puede ser representada por un númro finito de bits; por ejemplo 256 = 28 valores
posibles podrán ser representados por 8 bits.
23
CAPÍTULO 3. TÉCNICAS DE TRANSMISIÓN DIGITAL
Para el rango W ≤| f |< fs − W , el filtro puede tener cualquier caracterı́stica que permita
una facil implementación, siendo un filtro pasabajos ideal el método menos práctico en términos
de implementación.
Considere que el filtro tiene una respuesta en frecuencia dada por
f
LP F (f ) = Ts Π
2W ′
24
CAPÍTULO 3. TÉCNICAS DE TRANSMISIÓN DIGITAL
La relación dada por la Ecuación (3.3), demuestra de que la reconstrucción de la señal puede
ser perfectamente hecha al utilizar la función sinc() para la interpolación.
En sistemas prácticos, el muestreo siempre se realiza a frecuencias superiores a la tasa de
Nyquist, lo que a su vez implica un diseño de filtro mucho más relajado. En dichos casos la
distancia entre dos espectros replicados, que está dada por (fs − W ) − W = fs − 2W es conocida
como banda de guarda. Por lo tanto, en sistemas con banda de guarda, la frecuencia de
muestreo está dada por fs = 2W + WG , en dónde W es el ancho de banda de la señal de banda
limitada.
3.3. Cuantización
Después del proceso de muestreo, se tiene una señal de tiempo discreto, sin embargo las
amplitudes de dichas señales aún son continuas. Dado que la transmisión de números reales en
número de base 2 tienen largo infinito, la transmisión de esta señal se hace imposible.
Por esta razón, posterior al muestreo se realiza el proceso de cuantización. En este proceso
se realiza la discretización de la amplitud de las señales, lo que permite representar la señal de
forma válida con valores binarios de largo finito.
Q(x) = x̂i , ∀x ∈ Ri
25
CAPÍTULO 3. TÉCNICAS DE TRANSMISIÓN DIGITAL
El error en general se evalúa en forma cuadrática, y en este caso recibe el nombre de Error
Cuadrático de Distorción y se define como
sin embargo, dado que se trabaja con variables aleatorias, es necesario especificar el Error
Cuadrático de Distorción Medio, que está determinado por
Ejemplo 3.1
La fuente X(t) es una fuente Gaussiana, con media cero, estacionaria y con una PSD dada por:
2 , | f |< 100Hz
SX (f ) =
0 , i.o.c.
Considere que es muestrada a la frecuencia de Nyquist y que cada muestra está cuantizada usan-
do un cuantizador de 8 niveles como en la Figura 3.1, con niveles ai ∈ {−60, −40, −20, 0, 20, 40, 60},
26
CAPÍTULO 3. TÉCNICAS DE TRANSMISIÓN DIGITAL
que se redondean a x̂i ∈ {−70, −50, −30, −10, 10, 30, 50, 70}. Se pide calcular la distorción y la
tasa de transferencia.
Sol. Dado el ancho de banda de la fuente, su frecuencia de muestreo será fs = 2W = 200Hz.
Dado que es un cuantizador de 8 niveles, entonces se requieren 3 bits para realizar la descrip-
ción de cada muestra. Ası́, la tasa estará dada Rpor R = 3fs = R600 bits/s. La varianza de la
2 +∞ 100
fuente, está dada por σX = E {X 2 } = R (0) = −∞ SX (f )df = −100 2df = 400, ya que es un
proceso con media cero. Esto permite definir la función de distribución de probabilidad dada
1 x2
por fX (x) = √2π400 exp(− 800 ). Ahora bien, la distorción estará dada por:
n o Z +∞
2
D = E (X − X̂) = (x − Q(x))2 fX (x) dx
−∞
8 Z
X
= (x − Q(x))2 fX (x) dx
i=1 Ri
Z a1 Z a2 Z +∞
2 2
= (x − x̂1 ) fX (x) dx + (x − x̂2 ) fX (x) dx + · · · + (x − x̂8 )2 fX (x) dx.
−∞ a1 a7
Es muy interesante comparar el resultado anterior con la distorción máxima, la que está dada
cuando se utilizan cero bits por cada salida de la fuente. En este caso, la mejor estrategia es fijar
la señal reconstruı́da en cero, por lo que la distorción será Dmáx = E {(X − 0)2 } = E {X 2 } =
2
σX = 400. Esto equivale a decir que al utilizar 3 bits por salida de la fuente, la distorción se ha
reducido en un factor de ∼12, ó 10.8dB. n o
A pesar de lo descriptivo del error de cuantización D = E (X − X̂)2 , existe una métrica
más exacta pues está normalizada con respecto a la potencia de la señal original. Recibe el nom-
bre de Razón Señal-Ruido de Cuantización (SQNR, Signal-to-Quantization Noise Ratio)
y está definida por:
E {X 2 }
SQNR = (3.6)
E {(X − Q(X))2 }
Cabe destacar que considerando las definiciones de potencia de la señal original y de la
cuantizada, el SQNR está determinado por la razón entre la potencia de la señal (PX ) y la
potencia de señal cuantizada (PX̃ ), con X̃ = X − X̂.
Ejemplo 3.2
Determine el SQNR para el esquema de cuantización
R utilizado en el Ejemplo 3.1.
Sol. Se determinó previamente que PX = P SDdf = 400. Además la potencia del ruido de
cuantización está dado por PX̃ = D = 33,4, entonces SQNR = 400/33,4 = 11,97 ≈ 10,78dB.
27
CAPÍTULO 3. TÉCNICAS DE TRANSMISIÓN DIGITAL
en donde existen 2N − 1 variables de las que D depende: (a1 , a2 , . . . , aN −1 , x̂1 , x̂2 , . . . , x̂N ).
Tomando derivadas parciales con respecto a todos los ai e igualando a cero, se tiene:
x̂i + x̂i+1
ai = (3.7)
2
lo que significa que en un cuantizador óptimo, los bordes de las regiones de cuantización son los
puntos medio de los niveles de cuantización.
Tomando derivadas parciales con respecto a todos los x̂i e igualando a cero, se obtiene que
R ai
a
xfX (x) dx
x̂i = R i−1
ai (3.8)
ai−1 X
f (x) dx
lo que significa que el nivel de cuantización, debe ser elegido como el centroide de dicha región.
3.4. Encoding
En el proceso de encoding, una secuencia de bits es asignada a los diferetes niveles de
cuantización.
Dado que se tiene un total de N = 2v niveles, entonces v bits son suficientes para el proceso
de encoding. Basado en lo mismo, como se tienen v bits por muestra, que se tomó a un frecuencia
de muestreo de fs Hz, entonces la tasa de bits está dada por R = vfs bits por segundo.
La asignación de bits a los niveles de cuantización puede ser realizada de diferentes maneras.
En cuantización escalar, una forma natural de realizar el encoding, es asignando valores de 0 a
N − 1 a los diferentes niveles de cuantización comenzando desde el nivel más bajo hacia el más
alto de manera creciente. Esto implica que el nivel más bajo tendrá el valor 00. . . 0 y el más
alto de 11. . . 1, ambos de largo v. Esta asignación, recibe el nombre de Codificación Binaria
Natural.
28
CAPÍTULO 3. TÉCNICAS DE TRANSMISIÓN DIGITAL
1. La señal es de banda limitada, con una frecuencia máxima de W , por lo que puede ser
completamente reconstruı́da de muestras tomadas a una tasa fs ≥ 2W .
2. La señal tiene amplitud finita, vale decir que existe un máximo de amplitud xmáx tal que
| x(t) |≤ xmáx < ∞.
El punto 1 se puede solucionar incluyendo un filtro con ancho de banda W a la entrada del
muestreador para evitar armónicos sobre dicha frecuencia.
Dependiendo del cuantizador utilizado, uniforme o nouniforme, se tiene una modulación
PCM uniforme o nouniforme y esto se selecciona dependiendo de las caracterı́sticas de la salida
de la fuente.
29
Libros de Referencia.
c 2005,
“Fundamentals of Communication Systems”, John Proakis, Masoud Salehi.
Pearson Education, Inc.
c 1993, Addison-
“Introducción a los Sistemas de Comunicaciones”, F. G. Stremler.
Wesley Iberoamericana, S.A.
c 1998,
“Digital Communcations - Fundamentals and Applications”, Bernard Sklar.
Pretince-Hall Inc.
30