Fundamentos de Telemática.

10/11

Tema 4B. Teoría de la información.
Contenido
1. Introducción
2. Conceptos básicos
3. Codificación de la fuente
4. Comunicación fiable con ruido.

Bibligrafía
[ZIE] Principles of communications. R.E.Ziemer, Ed. J-
Wiley.
[CAR] Communications systems. A. Carlson. Ed. Mc-Graw
Hill.
[HNG]. Xia Hong. The University of Reading (UK).
[SHN].C. Shannon. A mathematical theory of
communication. The Bell system technical journal.

Tema 4.- 1

Fundamentos de Telemática. 10/11

1.- Introducción
• Proporciona una nueva perspectiva para evaluar el
funcionamiento de los sistemas de información.
• El objetivo es obtener una medida cuantitativa de la
información contenida en las señales de los mensajes y
determinar la capacidad de un sistema para transferir esta
información desde su origen a un destino.
• La codificación es parte de la TI:
Permite eliminar redundancia no sistemática
O inducirla para corregir errores

Figura 1.

• El 2º th de Shannon establece que:
Si una fuente posee una velocidad de info menor
que la capacidad del canal, se puede encontrar un
procedimiento de codificación tal que la salida de
dicha fuente se puede trasmitir por el canal con una
probabilidad de error arbitrariamente pequeña.

Tema 4.- 2

nat Ej.. cada vez que se de un resultado. Fuente binaria con: p(1)=α p(0)= 1-α = β Tema 4. bit e. • Interesa más que la información de cada evento. X.Conceptos básicos. Si tenemos n posibles resultados.1 Información. p( x j ) Unidades. udes de info. entonces se han recibido: 1 I ( x j ) = log a = − log a p ( x j ) .2. si se informa de que ha ocurrido el evento xj. Hartley 2. 10/11 2. Fundamentos de Telemática. • Se trata de buscar una forma de medir la sorpresa que provoca un mensaje. 16 2. 1 I ( x j ) = − log 2 ( ) = 4 bits. Experimento con 16 resultados equiprobables. • Si xj es un evento de probabilidad p(xj).. dependen de base a 10. se define: H ( X ) = E{I ( x j )} = −∑ p ( x j ) log 2 p ( x j ) bits/símbolo n j =1 Ejemplo.Entropía • Es la información promedio asociada a una VA discreta..3 . 2.

Fundamentos de Telemática.F: SHN • Entropía como medida de la incertidumbre: Máx. = pn = n 2. cuando resultados equiprobables 0: cuando ya se sabe lo que va a salir • Para el caso de n resultados posibles del experimento. Figura 2. se puede demostrar que la entropía es máxima cuando: 1 p1 = p2 = . Tema 4.3 Representaciones del canal • Se representan las transiciones del canal sin memoria.... 10/11 H (α ) = −α log 2 α − (1 − α ) log 2 (1 − α ) Se representa en la figura 2.4 .

• Se considera la probabilidad condicional o de transición del canal. pij = p ( y j | xi ) • El canal se especifica completamente por la matriz de probabilidades de transición. serán: [P( X )] = [ p( x1 ) p ( x2 )] [P(Y )] = [ p( y1 ) p ( y2 ) p ( y3 )] • Y se calculará: [P(Y )] = [P( X )] ⋅ [P(Y | X )] • Se puede tb obtener la matriz de probabilidad conjunta: ⎡ p ( x1 ) 0 ⎤ [P ( X . Y ) ] = ⎢ ⎥ [P(Y | X )] ⎣ 0 p ( x2 )⎦ Donde cada elemento da la probabilidad de tx xi y recibir yj Tema 4. • La matriz de las probabilidades de la entrada y de la salida. 10/11 Figura 2.5 .. ⎡ p ( y1 | x1 ) p ( y2 | x1 ) p ( y3 | x1 ) ⎤ [P(Y | X )] = ⎢ ⎣ p ( y1 | x2 ) p ( y2 | x2 ) p ( y3 | x2 )⎥⎦ • Suma de cada fila debe dar 1. Fundamentos de Telemática.

Y)]. 10/11 p ( xi . p(yj). y j ) = p ( xi ) p ( y j | xi ) Ej. 0.6 Si las entradas son equiprobables calcular [P(Y)] y [P(X.4 Entropía condicional y conjunta. • Conocidos p(xi).3 x2 y2 Figura 3. y j ) log 2 p ( y j | xi ) i =1 j =1 • Equivocación: incertidumbre media del símbolo tx una vez que se recibió Y. 2. Tema 4. n m H (Y | X ) = −∑∑ p ( xi . Fundamentos de Telemática. p(yj|xi). x1 0.7 y1 0. para un canal con n entradas y m salidas. se puede definir: • Entropía de la fuente: incertidumbre media de la fuente n H ( X ) = −∑ p ( xi ) log 2 p ( xi ) i =1 • Entropía en el receptor: incertidumbre media de símbolos recibidos m H (Y ) = −∑ p ( y j ) log 2 p ( y j ) j =1 • Entropía condicional: incertidumbre media de símbolos recibidos supuesto que se transmitió X..6 .4 0. p(xi.yj).

y j ) log 2 p ( xi | y j ) i =1 j =1 • Y la E. y j ) log 2 p ( xi . Tema 4. es decir: H (X | Y) ≤ H (X ) (demo ZIE 676) • Este decremento de la incertidumbre media es la medida de la información transmitida media.Y) ≥ 0 • Se define la capacidad del canal como el máximo valor de transinformación que es la máxima información media por símbolo que puede ser transmitida por el canal. 10/11 n m H ( X | Y ) = −∑∑ p ( xi . será también: I(X.H(X|Y) Que por las relaciones anteriores. n m H ( X . 2.Y)= H(X) .7 ..Y)= H(Y) . Y ) = −∑∑ p ( xi . Fundamentos de Telemática. Y ) = H (Y | X ) + H ( X ) Demo a partir de las definiciones anteriores. De manera lógica esa incertidumbre se reducirá cuando se recibe algo a la salida. Y ) = H ( X | Y ) + H (Y ) H ( X . conjunta: incertidumbre media del sistema de comunicación completo. tendrá una incertidumbre acerca del dato que se envió a la entrada del canal. y j ) i =1 j =1 • Algunas propiedades útiles: H ( X .H(Y|X) Y por tanto será siempre I(X. • Se define la transinformación o información mutua: I(X.5 Capacidad del canal • Un observador a la salida del canal.

La capacidad del canal binario simétrico (BSC) se muestra a continuación. Capacidad de un canal binario discreto definido en la figura.. C = 1 + p log 2 p + q log 2 q = 1 − H ( p ) Tema 4. 10/11 C= max[I(X.8 . Ejemplo 2. Figura 4. Capacidad de un canal discreto sin ruido definido en la figura. Fundamentos de Telemática.Y)] Ejemplo 1. Figura 5.

9 . Determinar la matriz del canal. Supongamos un BSC con transmisión en banda base. i≠j. Fundamentos de Telemática. • Se vio que PE decrecía con la energía de los símbolos recibidos. Si el transmisor tiene una potencia de 1000 w. F: HNG • La probabilidad de error de un BSC se calcula: 2 PE = ∑ p (e | xi ) p ( xi ) = qp ( x1 ) + qp ( x2 ) = q i =1 • Es decir. 10/11 Figura 6. Ejemplo 3. el régimen binario de la fuente es de 10000 símbolos/sg y N0=2⋅10-5 w/Hz. esta es la potencia recibida por el período de símbolo. la atenuación en el canal es de 30 dB. por tanto: si fijamos la potencia del transmisor. (quitando redundancia a la fuente mediante codificación). como se vio en el tema anterior.. Tema 4. la probabilidad de error incondicional PE es igual a la condicional p(yj|xi). la probabilidad de error se puede reducir decrementando el régimen de la fuente.

Fundamentos de Telemática. El régimen de la fuente r = 3. Partimos de un sistema: Figura 7. dada su entropía H(X) en bits/símbolo y su régimen r en símbolos/sg: Rs = rH(X) bits/sg. es posible codificar la salida de la fuente de tal modo que pueda transmitirse por el canal..5 simb. 10/11 3.Caso de estudio. Suponemos que la fuente genera dos símbolos A y B con p(A)=0. • Supongamos un canal que admite un régimen de S símbolos por segundo. El canal puede transmitir 0’s o 1’s a un régimen de 2 símbolos/sg. con un error despreciable.. Se vio en un ejemplo que su capacidad era C= 1bit/símb. de codificación sin ruido o 1er th. 3. • Se puede enunciar el th.1. de Shannon: dado un canal y una fuente que genera información a una velocidad menor que la C del canal.9 y p(B)=0./sg. entonces también se puede medir su capacidad en SC bits/sg.Codificación de la fuente • El régimen de información de la fuente será. si su capacidad es C bits/símbolo. Tema 4.10 .1..

0 media L En este caso. Símbolo P(xi) Palabra P(xi)⋅(long.. Fundamentos de Telemática.11 . Se consigue disminuir el régimen medio de símbolos de la fuente. Calculando.) A 0.1 1 0. el régimen de símbolos del codificador es igual que el de la fuente. por lo que la tx.469 bits/simb. fuente código palabra cód. • Primer caso. Tema 4. < SC .9 0 0. rH(X)= 1.1 Longitud 1. • La palabra código más corta se asigna al grupo de fuente más probable. extensión de orden 1. H(X) =0.642 bits/sg. 10/11 • El régimen de símbolos de la fuente es mayor que la capacidad del canal. es posible. • La transmisión se consigue con el proceso de codificación de la fuente donde se asignan palabras código a agrupaciones de n símbolos de la fuente (extensiones de orden n). luego no se puede transmitir directamente.9 B 0.

645 símbolos de código/símbolo fuente. dada uno de longitud n.12 .29 = = 0..18 BA 0.81 AB 0. fuente código palabra cód. su régimen de símbolos a la salida del codificador: L r = 3.27 BB 0.01 111 0.) AA 0. n Todavía mayor que SC=2 símbolos/ sg del canal.81 0 0. extensión de orden 2.29 i =1 Donde ahora 2n es el número de símbolos de la extensión de la fuente. Entonces la extensión de segundo orden tiene: L 1.5 ⋅ 0. 10/11 • Segundo caso. Tema 4.645 = 2. Fundamentos de Telemática.09 110 0. 2n L = ∑ p ( xi )li = 1.29 En este caso. Símbolo P(xi) Palabra P(xi)⋅(long. n 2 Y por tanto.258 símbolos de código /sg.09 10 0.03 L 1.

081 101 0.533 símbolos de código/símbolo de fuente n 3 L r = 3.598 En este caso.243 BAA 0. fuente código palabra cód. Fundamentos de Telemática. Destacar: 1. por lo que se necesitaría un buffer en el codificador para generar un régimen constante en la entrada del canal. Los símbolos de la fuente aparecen a un régimen constante mientras que los del codificador no.864 símbolos de código/sg.005 L 1.081 110 0. Símbolo P(xi) Palabra P(xi)⋅(long.243 ABB 0.081 100 0.009 11100 0.045 BBA 0.5 ⋅ 0. A medida que la extensión de la fuente crece converge a n H(X).533 = 1.045 BBB 0. 10/11 • Tercer caso.) AAA 0. Extensión de tercer orden.243 ABA 0. Tema 4.13 .598 = = 0.009 11110 0. L 1. L 2.729 0 0. n Que ahora si es aceptado por el canal.001 11111 0.045 BAB 0. pero siempre por encima.009 11101 0..729 AAB 0.

F: ZIE 3. Fundamentos de Telemática.-Algunas definiciones: • Alfabeto: colección de símbolos usados para construir la palabra código y por tanto para ser usados en la comunicación a través del canal.14 .2. • Eficiencia: Lmin Lmin = 2n L ∑ p( x )l i =1 i i Se puede demostrar que H(X ) Lmin = log 2 D Donde D es el número de símbolos del alfabeto de codificación. Tema 4. • Longitud de la palabra código: nº de símbolos de la palabra código. 10/11 Figura 8..

Código instantáneo x1 0 0 x2 01 10 x3 011 110 x4 0111 1110 Tema 4. H (X ) eficiencia = L Y se define la redundancia..eficiencia Por tanto en codificadores binarios. • Código unívocamente decodificable: • Código instantáneo /no: si es posible decodificar cada palabra en secuencia sin referencia a sucesivos símbolos de código.15 . H (X ) eficiencia= L log 2 D Y en el caso de un código binario (D=2).Clasificaciones de los códigos: • Códigos bloque/no bloque: si cada bloque de símbolos de la fuente se codifican en una secuencia de longitud fija de símbolos de código. Fundamentos de Telemática. Símbolos fuente Código no instant.3. L − H(X ) L 3. • redundancia = 1. 10/11 Por tanto..

La eficiencia es 1 si las particiones se pueden hacer en conjuntos equiprobables. 3. 10/11 3. (Ver tabla).16 .in) Entonces.. nH ( X ) eficiencia = L Con lo que se observa lo visto en el gráfico de L / n..i2.5.Codificación de Shannon-Fano.4.... podemos hacerlo a partir de las probabilidades de símbolo de la fuente extendida o partir de la propiedad: H ( X n ) = nH ( X ) Demostración a partir de la probabilidad de la n-sima extensión de la fuente (i1. para ello se ordenan los símbolos de la fuente en probabilidad no decreciente. Fundamentos de Telemática.F: ZIE Tema 4.. • Permite obtener un código instantáneo. Figura 9.-Entropía de la extensión binaria de una fuente • Para calcular la eficiencia de una extensión de fuente.

Codificación de Huffman. • También permite obtener un código instantáneo. 10/11 3.. • El árbol se recorre en sentido inverso para asignar los códigos a los símbolos. • Es un código óptimo.17 .6. • Se repite el proceso. Si R es 103 bps. Figura 10. • Se van combinando los mensajes menos probables. ¿cuánto debe valer A para obtener la misma PE? Tema 4.. • Se ordenan los símbolos o mensajes de la fuente en orden de probabilidad no creciente. Se recibe la señal con amplitud A= 20 mV. ¿cuál es la PE? Si R = 104 bps. Fundamentos de Telemática. tiene la eficiencia más alta para una entropía dada.F: ZIE Se transmite una señal digital en banda base en un sistema con N0=10-7 W/Hz.

Shannon estableció el th fundamental de la TI: Dado un canal discreto sin memoria (cada símbolo es perturbado por un ruido independientemente de los otros símbolos). si S es la potencia de la señal entonces. 10/11 4. entonces existe un código a la salida de la fuente que puede ser transmitido por el canal con una probabilidad de error arbitrariamente pequeña. • C. si hay ruido.18 . con capacidad C bps y una fuente con régimen de información de R bps. • La ley de Shannon–Hartley establece que para un canal continuo con ruido blanco gaussiano su C en bps es: ⎛ S⎞ Cc = B log 2 ⎜1 + ⎟ bps ⎝ N⎠ (demo en CAR 586) S • Si tenemos un canal sin ruido ( = ∞ ) la capacidad es N infinita para cualquier B ≠0. donde R<C. Demo SHN 32 4. S Eb = S ⋅ Tb = Cc Además el ruido total para un determinado B será: N = N0 ⋅ B Por lo que.1 Capacidad de un AWGNC. Tema 4. pero se demuestra que no se puede aumentar la capacidad arbitrariamente a base de aumentar el B.. Suponiendo que transmitimos a Rb= Cc .Comunicación fiable con ruido.. Fundamentos de Telemática.

6 dB. Cc ⎛ Cc ⎞ ⎜ ⎟ ln 2 Cc 2 B =e ⎝ B ⎠ ≅ 1 + ln 2 + . B Ya que B>>Cc Por tanto.6dB . 10/11 S EbCc = N N0 B Y sustituyendo en la ley de S-H: Cc ⎛ Eb Cc ⎞ = log 2 ⎜⎜1 + ⎟⎟ B ⎝ N0 B ⎠ Despejando Eb/N0. sustituyendo..19 . la Eb/N0 se aproxima al límite de 1. Tema 4... cuando B>>Cc N0 Por tanto. Eb ≅ ln 2 = 1. para la situación en que Rb=Cc. por mucho que crezca el B. Fundamentos de Telemática. Eb B ⎛ Cc ⎞ = ⎜⎜ 2 − 1⎟⎟ B N 0 Cc ⎝ ⎠ De donde quedándonos con la potencia de 2.

Fundamentos de Telemática. k) es aquel en el que a cada k símbolos de la fuente le añaden una serie de códigos redundantes para formar palabras código de n símbolos.F: ZIE En el gráfico se observan las regiones limitada en potencia (Rb<<B) y limitada en ancho de banda (Rb>>B) 4. • Se define el peso Hamming de una palabra de código como el número de 1’s. número de posiciones en que difieren) • Concepto de distancia y secuencia recibida: Tema 4..20 . 10/11 Figura 11.2 Código bloque • Un código bloque (n. • Distancia Hamming entre dos palabras código es dij = w( si ⊕ s j ) (es decir. • Los n-k símbolos añaden suficiente información como para corregir o detectar un número de errores.

.0000000] Si se recibe 1101011 qué palabra se envió. Fundamentos de Telemática. 1001101. Son códigos (k+1. 0110110.. • Gran capacidad de corrección pero muy ineficiente.. 1111011.11.3.00 y 11.21 .Códigos de repetición.. Ej. 10/11 Figura 12. • Códigos (n.4.Códigos de comprobación paridad simple. • El régimen de información a la salida del codificador. cada símbolo se repite n veces.1). 1000110. Solo detectan número de errores impares. • Solo hay dos palabras código: 00. 0111101. 1110000.. 4. será: Tema 4.F: ZIE El número de errores corregibles será: 1 e = (d m − 1) 2 Supuesto que dm es impar..k). Un código consiste en las palabras [0001011. 4..

Se llaman códigos sistemáticos. Fundamentos de Telemática. • Los símbolos de paridad cumplen una serie de ecuaciones lineales: 0 = h11a1 ⊕ h12 a2 ⊕ ⋅ ⋅ ⋅h1k ak ⊕ c1 0 = h21a1 ⊕ h22 a2 ⊕ ⋅ ⋅ ⋅h2 k ak ⊕ c2 M 0 = hr1a1 ⊕ hr 2 a2 ⊕ ⋅ ⋅ ⋅hrk ak ⊕ ck • Se puede escribir en forma de producto matricial: [H ][T ] = [0] • Donde [H] es la matriz de paridad.. • Tratan de proporcionar alta capacidad de corrección y alta tasa de información. Tema 4. Ej..cr Donde ai son los símbolos de información y cj los símbolos de paridad. 10/11 ⎛k ⎞ 1 Rc = ⎜ ⎟ R = R bits/símbolo.5.. con r = n ..k. Calcular la capacidad de corrección de un código de repetición de relación 1/3.22 . ⎝n⎠ n k/n es la relación de codificación. 4... • Consideramos un código formado por una palabra: a1a2.Códigos d comprobación de paridad para corrección de errores individuales.akc1c2.

entonces puede que sea la palabra transmitida. y 1.. 10/11 ⎡ h11 h12 L h1k 1 0 L 0⎤ ⎢h h22 L h2 k 0 1 L 0⎥ [H ] = ⎢ 21 ⎥ ⎢M ⎥ ⎢h 0 0 L 1⎥⎦ ⎣ r1 hr 2 L hrk [T] es el vector de la palabra de código. Si [H ][R ] = [0]. • Podemos representar la palabra recibida como [R] = [T ] ⊕ [E ] Por tanto si obtenemos [E]. entonces hay al menos un error. ⎡ a1 ⎤ ⎢a ⎥ ⎢ 2⎥ ⎢M⎥ [T ] = ⎢⎢ak ⎥⎥ ⎢ c1 ⎥ ⎢ ⎥ ⎢M⎥ ⎢⎣ cr ⎥⎦ • Si recibimos una palabra [R]. Tema 4. Fundamentos de Telemática. 2. [S ] = [H ][R] = [H ][T ] ⊕ [H ][E ].23 . podemos conocer la palabra transmitida a partir de la recibida. [H ][R ] ≠ [0]. Multiplicando por [H]. llamamos [S].

Ej. determinar la palabra de código enviada. la llamamos síndrome y nos da información acerca de qué símbolo modificó el error. Si tenemos la matriz de paridad de un código: ⎡1 1 0 1 0 0 ⎤ [H ] = ⎢⎢0 1 1 0 1 0⎥⎥ ⎢⎣1 0 1 0 0 1⎥⎦ Suponiendo que se ha recibido 111011. Fundamentos de Telemática. viendo qué columna de [H] coincide con el síndrome.. Tema 4. [S ] = [H ][E ] • A la matriz [S].24 . 10/11 Por lo que.