Elementos de Teora de la Informacin

Clase 29-Junio-2011

Recordemos .

que es Ruido .

Perturbaciones en la transmisin

La seal recibida puede diferir de la seal transmitida Analgico - degradacin de la calidad de la seal Digital Errores de bits Causado por

Atenuacin y distorsin de atenuacin Distorsin de retardo Ruido

3

Atenuacin

La intensidad de la seal disminuye con la distancia Depende del medio La intensidad de la seal recibida:

Debe ser suficiente para que se detecte Debe ser suficientemente mayor que el ruido para que se reciba sin error Crece con la frecuencia

Ecualizacin: amplificar ms las frecuencias ms altas Problema menos grave para las seales digitales
4

Distorsin de retardo

Slo en medios guiados La velocidad de propagacin en el medio vara con la frecuencia Para una seal limitada en banda, la velocidad es mayor cerca de la frecuencia central Las componentes de frecuencia llegan al receptor en distintos instantes de tiempo, originando desplazamientos de fase entre las distintas frecuencias
5

Ruido (1)

Seales adicionales insertadas entre el transmisor y el receptor Trmico

Debido a la agitacin trmica de los electrones Aumenta linealmente con la temperatura absoluta (N0= kT) Uniformemente distribuido en la frecuencia Ruido blanco (NBW= kTB) Seales que son la suma y la diferencia de frecuencias originales y sus mltiplos (mf1 nf2) Se produce por falta de linealidad
6

Intermodulacin

Ruido (2)

Diafona

Una seal de una lnea se mete en otra Impulsos irregulares o picos Ej: Interferencia electromagntica externa (tormenta) Corta duracin Gran amplitud

Impulsivo

Efecto del ruido en seal digital

Conceptos relacionados con la capacidad del canal

Velocidad de datos En bits por segundo Velocidad a la cual se pueden transmitir los datos Ancho de Banda En ciclos por segundo (hertz) Limitado por el transmisor y el medio Ruido, nivel medio a travs del camino de transmisin Tasa de errores, cambiar 0 por 1 y viceversa (BER, Bit Erro Rate)

Ancho de Banda de Nyquist (ancho de

banda terico mximo)
Para 2 niveles SIN RUIDO

Velocidad binaria

C (bps ) 2 B( Hz)
C (bps ) 2 B( Hz ) log 2 M (niveles )

Para M niveles SIN RUIDO

Velocidad binaria

1 Baudio = 1 estado sealizacin/sg 1 Baudio = 1 bps si M=2 La relacin entre la velocidad de transmisin C y la velocidad de modulacin V es:

C (bps ) V (baudios)log 2 M
Nyquist, H., Certain Factors Affecting Telegraph Speed, Bell System Technical Journal, April 1924, p. 324; Certain Topics in Telegraph Transmission Theory, A.I.E.E. Trans., v. 47, April 1928, p. 617.
10

Capacidad de Shannon (1)

Para un cierto nivel de ruido, a mayor velocidad, menor perodo de un bit, mayor tasa de error (se pueden corromper 2 bits en el tiempo en que antes se corrompa 1 bit)
Relacin Seal / Ruido (Signal Noise Ratio, SNR) en dB

SNRdB

Potencia _ Seal 10 log( SNR) 10 log Potencia _ Ruido

Restriccin: no se puede aumentar M cuanto se quiera porque debe cumplirse:

1 SNR
11

Capacidad de Shannon (2)

En principio, si se aumenta el ancho de banda B y la potencia de seal S, aumenta la velocidad binaria C. Pero:

Un aumento del ancho de banda B aumenta el ruido Un aumento de potencia de seal S aumenta las no linealidades y el ruido de intermodulacin

Por tanto, la velocidad binaria terica mxima ser:

C (bps ) V log 2 M

2Blog 2 M

Blog 2 M

=>

Cmx (bps )

B( Hz )log 2 (1 SNR)
12

Ley de Shannon (1948)

La cantidad de smbolos (o bits/baudio) que pueden utilizarse dependen de la calidad del canal, es decir de su relacin seal/ruido. La Ley de Shannon expresa el caudal mximo en bits/s de un canal analgico en funcin de su ancho de banda y la relacin seal/ruido : Capacidad = BW * log2 (1 + S/R) donde: BW = Ancho de Banda S/R = Relacin seal/ruido

13

Ejemplo
Canal entre 3 MHz y 4 MHz Relacin seal ruido = 24 dB, SNR=102,4=251 Calcular ancho de banda Respuesta: B = 1 MHz Calcular la velocidad binaria terica mxima y el nmero de niveles Respuesta: SNR = 251 Respuesta: C = 8 Mbps Respuesta: M = 16 niveles

14

Relacin Eb/N0 (1)

Eb: energa de seal por bit (Eb=STb=S/R) siendo S potencia seal, Tb tiempo de un bit, R bits/sg N0: densidad de potencia de ruido por Hz Se demuestra fcilmente que:

O bien
Eb N0
dB

Eb N0
S dBW

S/R N0
10 log R

S kTR
10 log T 228,6

15

Relacin Eb/N0 (2)

siendo k la constante de Boltzmann, cuyo valor es

k 1,380310

23

J / K

y siendo T la temperatura absoluta en grados Kelvin

Ejemplo: Para obtener una relacin Eb/N0 = 8,4 dB a una temperatura ambiente de 17 C (290 K) y una velocidad de transmisin de 2.400 bps, qu potencia de seal recibida se necesita? Respuesta:

S dBW

161,8
16

Teora de la Informacin y Codificacin

17

Teora de la Informacin
Claude Shannon estableci la Teora de la Informacin Clsica Dos Teoremas Fundacionales: 1. Noiseless source coding 2. Noisy channel coding

C. E. Shannon, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948. Reprinted with corrections from The Bell System Technical Journal,

18

Teora de Shannon
Uno de ellos describe la mxima eficiencia posible de un mtodo de correccin de errores ( codificacin ) frente a los niveles de ruido y de corrupcin de los datos. No dice nada sobre como implementar dicha codificacin . En definitiva brinda el limite para la TX de bits (basndose en la Ley de los Grandes Nmeros )

19

Shannon , paper Bell Labs (1948)

February 8, 2010

Harvard QR48

20 20

C. E. Shannon, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948
A method is developed for representing any communication system geometrically. Messages and the corresponding signals are points in two function spaces, and the modulation process is a mapping of one space into the other. Using this representation, a number of results in communication theory are deduced concerning expansion and compression of bandwidth and the threshold effect. Formulas are found for the maximum rate of transmission of binary digits over a system when the signal is perturbed by various types of noise. Some of the properties of ideal systems which transmit at this maximum rate are discussed. The equivalent number of binary digits per second for certain information sources is calculated.

21

C. E. Shannon (January 1949). "Communication in the presence of noise" Proc. Institute of Radio Engineers vol. 37 (1): 1021.
THE recent development of various methods of modulation such as PCM and PPM which exchange bandwidth for signal-to-noise ratio has intensified the interest in a general theory of communication. A basis for such a theory is contained in the important papers of Nyquist and Hartley on this subject. In the present paper we will extend the theory to include a number of new factors, in particular the effect of noise in the channel, and the savings possible due to the statistical structure of the original message and due to the nature of the final destination of the information. The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design. If the number of messages in the set is finite then this number or any monotonic function of this number can be regarded as a measure of the information produced when one message is chosen from the set, all choices being equally likely. As was pointed out by Hartley the most natural choice is the logarithmic function. Although this definition must be generalized considerably when we consider the influence of the statistics of the message and when we have a continuous range of messages, we will in all cases use an essentially logarithmic measure.

22

Modelo de un Sistema de Comunicaciones

23

If the rate of Information is less than the Channel capacity then there exists a coding technique such that the information can be transmitted over it with very small probability of error despite the presence of noise.

24

Informacin

25

Definicin : unidades

26

1 Bit

27

Fuente de memoria nula

28

Memoria nula (cont)

29

Entropa

30

Entropa (cont)

La entropa de un mensaje X, que se representa por H(X), es el valor medio ponderado de la cantidad de informacin de los diversos estados del mensaje.

H(X) =

p(x) log2 p(x)

Es una medida de la incertidumbre media acerca de una variable aleatoria y el nmero de bits de informacin. El concepto de incertidumbre en H puede aceptarse. Es evidente que la funcin entropa representa una medida de la incertidumbre, no obstante se suele considerar la entropa como la informacin media suministrada por cada smbolo de la fuente

31

Entropa: Fuente Binaria

32

Propiedades de la entropa
a) La entropa es no negativa y se anula si y slo si un estado de la variable es igual a 1 y el resto 0 . b) La entropa es mxima, mayor incertidumbre del mensaje, cuando todos los valores posibles de la variable X son equiprobables (empricamente fcil).

Si hay n estados equiprobables, entonces pi = 1/n. Luego:

H(X) = i

pi log2 pi = - n(1/n) log2 (1/n) = - (log2 1 - log2 n)

H(X)mx = log2 n
33

Entropa condicional
Si existe una segunda variable Y que influya sobre X, esto nos entregar importante informacin adicional.

H(X/Y) = x,y

p(x,y) log2 p(x,y)

Donde p(x,y) = p(y)p(x/y) y la relacin p(x/y) es la probabilidad de que se obtenga un estado X conocido el valor de Y. Luego:

La entropa se reduce: hay ms orden y menos incertidumbre. incertidumbre

H(X/Y) = -

p(y)

p(x/y) log2 p(x/y)

34

Ejemplo
Sea X = {x1, x2, x3, x4} con p(xi) = 0.25 Sea ahora Y = {y1, y2, y3} con p(y1) = 0.5; p(y2) = 0.25; p(y3) = 0.25 Luego H(X) = 4 log2 4 = 2.0 y H(Y) = 2 log2 4 + log2 2 = 1.5 Adems hay las siguientes dependencias entre X e Y: Si Y = y1 X = x1 o x2 o x3 o x4 (cualquiera con igual probabilidad) Si Y = y2 X = x2 o x3 (cualquiera con igual probabilidad) Si Y = y3 X = x3 o x4 (cualquiera con igual probabilidad) Como H(X/Y) = y=3 y=1

p(y)

x=4

x=1

p(x/y) log2 p(x/y)

H(X/Y) = - p(y1)[p(x1/y1)log2p(x1/y1) + p(x2/y1)log2p(x2/y1) + p(x3/y1)log2p(x3/y1) + p(x4/y1)log2p(x4/y1)] - p(y2)[p(x1/y2)log2p(x1/y2) + p(x2/y2)log2p(x2/y2) + p(x3/y2)log2p(x3/y2) + p(x4/y2)log2p(x4/y2)] - p(y3)[p(x1/y3)log2p(x1/y3) + p(x2/y3)log2p(x2/y3) + p(x3/y3)log2p(x3/y3) + p(x4/y3)log2p(x4/y3)]

Calculando, se obtiene H(X/Y) = 1.0 + 0.25 + 0.25 = 1.5. La entropa de X ha bajado en medio bit con el conocimiento de su relacin con Y.

35

Extensin de una Fuente de Memoria Nula

36

Fuente de Markov

37

Fuente de Markov (cont)

38

Codificacin de Fuente
Establecer una correspondencia entre los smbolos de una fuente y los smbolos del alfabeto de un cdigo. Proceso encaminado a lograr una representacin ms eficiente de la informacin ( eliminar redundancia)*.

39

Condiciones del cdigo

singular
separable (nicamente decodificable) instantneo

40

singulares No singular
a
m1 --- 01 m2 --- 01 m3 --- 10

instantneo*
b
m1 --- 0 m2 --- 01 m3 --- 001

c
m1 --- 0 m2 --- 01 m3 --- 011

d
m1 --- 0 m2 --- 10 m3 --- 110

no separable

separables
41

Condicin de los prefijos

La condicin necesaria y suficiente para que un cdigo sea instantneo es que sus palabras cumplan la condicin de los prefijos:

No exista palabra que sea prefijo de otra palabra de longitud mayor

42

No Singulares Cdigos Singulares

No separables Separables

No instantneos Instantneos

43

Cdigos eficientes
Estrategia: Estrategia Asignar palabras ms cortas a smbolos ms probables
l i longitud de la palabra codificada del mensaje m i r : # de smbolos del alfabeto del cdigo L= pi l i : Longitud promedio de la palabra*

44

Relacin entre L y H !!!

L log r H(s)

log r : Cantidad promedio mxima de informacin de un smbolo del cdigo.

Eficiencia del cdigo :

S) / (L log r)
45

46

47

Codificador ptimo
Nos falta encontrar el segundo trmino pendiente en la definicin de cantidad de informacin: codificador ptimo. Introduciendo el signo negativo dentro del logaritmo en la expresin de la entropa, sta nos quedar como:

H(X) =
i

p(x) log2 [1/p(x)]

Veamos un ejemplo de codificacin

La expresin log2 [1/p(x)] representa el nmero necesario de bits para codificar el mensaje X en un codificador ptimo.
Codificador ptimo es aquel que para codificar un mensaje X usa el menor nmero posible de bits.

48

Codificacin de Huffman
Mensaje: MI MAMA ME MIMA
Letra E I A M Frecuencia 1 vez 2 veces 3 veces 3 veces 6 veces I E A I E A I E A I E M 3 Ocurrencias 6 9 15

Cdigo ptimo:

Creacin del rbol de frecuencias observadas

M=1

= 01 A = 000

I = 0010

E = 0011

Mensaje: 1 0010 01 1 000 1 000 01 1 0011 01 1 0010 1 000 (33 bits) Pregunta: Con cuntos bits se codificara si se usara ASCII? Saque conclusiones.
49

Compresin de las seales

Consiste en la reduccin del volumen de informacin tratable (procesar, transmitir o grabar). En principio, con la compresin se pretende transportar la misma informacin, pero empleando la menor cantidad de espacio. Ocupacin espectral de 30 Mbits / seg a 40 Mbits / seg, para poder sr utilizado por una transmisin:

via satlite de 27 Mhz a 36 Mhz canal de cable de 6 Mhz a 8 Mhz

El espacio que ocupa una informacin codificada (datos, seal digital, etc.) sin compresin es el cociente entre la frecuencia de muestreo y la resolucin. Por tanto, cuantos ms bits se empleen mayor ser el tamao del archivo.

50

Tcnicas de Compresin
Coding Type Entropy Encoding Basis Run-length Coding Huffman Coding Arithmetic Coding DPCM DM FFT DCT Bit Position Layered Coding Vector Quantization JPEG Hybrid Coding MPEG H.263 Many Proprietary Systems
51

Technique

Prediction
Transformation Source Coding

Subsampling Sub-band Coding

Compresin de las seales

Proceso

Se buscan repeticiones en la serie de datos. Se almacena solo el dato junto al nmero de veces que se repite. Ejemplo: Si en un archivo aparece una secuencia como "AAAAAA", ocupando 6 bytes, se podra almacenar simplemente "6A" que ocupa solo 2 52 bytes.

Compresin de las seales

Algoritmos de compresin

Huffman: Examina los caracteres ms repetidos, luego los codifica en una forma mas corta. LZW: Construye un diccionario con los patrones encontrados, a los cuales se hace referencia posteriormente.
53

Lectura Opcional

Compresin DCT JPEG

54

Compresin de las seales

Conceptos

Redundancia: Datos que son repetitivos o previsibles. Entropa: Diferencia entre la cantidad total de datos de un mensaje y su redundancia. Irrelevante: Informacin que no podemos apreciar y cuya eliminacin no afecta al contenido del mensaje. Bsica: Informacin relevante. No es redundante ni irrelevante. Debe ser transmitida en su totalidad para que se pueda reconstruir la seal.

55

Compresin de las seales

Tipos

Sin prdidas reales: La transmisin es equivalente a la entropa del mensaje ( toda la informacin bsica e irrelevante, pero eliminando la redundante ). Subjetivamente sin prdidas: Se elimina la informacin redundante y la irrelevante.

Subjetivamente con prdidas: Se elimina cierta cantidad de informacin bsica, por lo que el mensaje se reconstruir con errores perceptibles pero tolerables.

56

Tipos de codificacin de las seales

R L C ( Run Length Coding )

Uso: Cuando la informacin contiene series largas de elementos idnticos.

Codificacin: El elemento y su Nro. de repeticiones.

Reversibilidad: Total, no se pierde informacin.

Aplicacin: Informtica. Archivos Zip, Arc, etc.

57

Tipos de codificacin de las seales

V L C ( Variable Length Coding )

Base de uso: La probabilidad de que todos los elementos componentes de una informacin no tendrn la misma codificacin. Codificacin: Menos bits los elementos de aparicin frecuente. Ms bits los elementos mas raros. Inconveniente: Conocer previamente la serie de elementos que hay que transmitir, esto es totalmente incompatible con el Tiempo Real .

58

DCT (Discrete Cosine Transform)

Es un caso particular de la transformada de Fourier , aplicada a las seales discretas ( muestreos ). Transformada de Fourier: Cualquier seal peridica puede ser representada por una serie de sumas trigonomtricas en senos y cosenos relacionadas armnicamente. Imagen: Trabajar a partir de una seal muestreada bidimensional. Analizar en horizontal y vertical Armar un bloque de N x N pixels con los valores discretos de luminancia (o crominancia). Transformar el bloque anterior en otro de N x N coeficientes, que correspondern a la amplitud de cada una de las funciones cosenos armnicos.
59

DCT (Discrete Cosine Transform

Proceso
Imagen dividida en bloques
720 pxels 90 bloques 576 pixels - bloques

La imagen se divide en bloques de 8 x 8 pixels. En el bloque transformado, los coeficientes de las frecuencias horizontales van de izquierda a derecha sobre el eje horizontal y los de las frecuencias horizontales, crecientes de arriba a abajo sobre le eje vertical

Bloque
60

DCT (Discrete Cosine Transform)

Proceso

Bloque de 8 x 8 pixels. Los valores representan la intensidad luminosa de un pxel

61

DCT (Discrete Cosine Transform)

Proceso

A los coeficientes se les resta 128 para que queden nmeros entorno al 0, entre -128 y 127.

62

DCT (Discrete Cosine Transform)

Proceso
La DCT transforma el contenido del bloque en una matriz de 8 x 8 coeficientes. El primero (arriba a la izquierda, coordenadas 0, 0) indica la componente continua (DC) que representa la intensidad media del bloque.

El ltimo ( abajo a la derecha ), da la componente de frecuencia espacial mas elevada para los dos ejes.

63

DCT (Discrete Cosine Transform)

Representacin en forma visual de la contribucin de cada uno de los coeficientes al aspecto del bloque de 8 x 8 pixels originales.

64

DCT (Discrete Cosine Transform)

Consideraciones finales

Los coeficientes dependen del Nro. de detalles contenidos en el bloque. Normalmente la energa del bloque se concentra en unos pocos coeficientes en el ngulo superior izquierdo. Los coeficientes son independientes unos de otros. Los coeficientes tienen menor precisin cuando la frecuencia aumenta.

65

Cuantificacin
Caractersticas del ojo humano

Detecta pequeos cambios de brillo en reas grandes.

No detecta rpidos cambios de brillo en reas pequeas, variaciones de alta frecuencia.

66

Cuantificacin

Lo anterior nos permite eliminar las altas frecuencias, sin perder excesiva calidad visual. Esto se observa en los coeficientes correspondientes tendiendo a 0 (cero). Este proceso es en el que se pierde la mayor parte de la informacin (y calidad) cuando una imagen es procesada por este proceso.

67

Cuantificacin
Ejemplo de una matriz de cuantificacin tpica

68

Cuantificacin
La matriz cuantificada se obtiene dividiendo cada coeficiente de la matriz de la imagen transformada con cada coeficiente de la matriz de cuantificacin.

69

Compresin de imgenes fijas

JPEG Joint Photographic Experts Group

Se basa en una norma de compresin de imgenes fotogrficas de resolucin variable, en forma Y, Cb, Cr. Puede realizarse con o sin prdida (reversible), segn la finalidad y la tasa de compresin. En los usos mas habituales se toleran ciertas prdidas lo que permite alcanzar ndices de compresin superiores a 10 sin una degradacin apreciable.
70

JPEG
La compresin se descompone en 6 etapas

1.- Descomposicin en bloques. 2.- Transformacin mediante DCT. 3.- Discriminacin por umbral y cuantificacin. 4.- Lectura en zigzag. 5.- Codificacin RLC. 6.- Codificacin entrpica de Huffman ( VLC ).
71

JPEG
1.- Descomposicin en bloques

La imagen original de forma Y,Cb,Cr, se divide en bloques elementales de 8 x 8 pixels. Imagen en formato CCIR 601 de 720 x 576 pixels, hay 6.480 bloques de luminancia. 3.240 bloques para cada una de las crominancias.

Digitalizacin de 8 bits cada bloque forma una matriz de 64 nmeros de 0 a 255 para la luminancia de 128 a + 128 para las crominancias
72

JPEG
2.- Transformacin mediante DCT

Genera por cada bloque Y,Cb,Cr una matriz de 8 x 8 pixels, con los coeficientes de las componentes de frecuencias espaciales.

73

JPEG
3.- Discriminacin por umbral y cuantificacin

Se tiene en cuenta las particularidades de la visin humana. El ojo no distingue los detalles finos por debajo de cierto nivel de luminancia ( Y ). Como consecuencia se ponen en 0 ( cero ) los coeficientes inferiores a un valor predeterminado. Los coeficientes restantes se codifican con una precisin decreciente a medida que la frecuencia aumenta.

74

JPEG
4.- Lectura en zigzag

Con la excepcin del primer coeficiente ( CC luminancia ), los 63 restantes ( coeficientes de CA, crominancia ) se leen en zigzag para transformar la matriz en una corriente de datos en serie, para ser utilizada en las otras etapas.

75

JPEG
5.- Codificacin RLC

Se codifica el nmero de ocurrencias de los coeficientes.

Se tiene mxima atencin a los nulos y al prximo no nulo.

76

JPEG
6.- Codificacin entrpica de Huffman (VLC)

Esta ltima etapa consiste en codificar los coeficientes con una longitud tanto mas corta cuanto mas frecuentes sean estadsticamente.

77