You are on page 1of 13

TEORÍA DE LA INFORMACIÓN

El objetivo de un sistema de comunicación en su sentido amplio es la transmisión eficiente de información de un punto denominado ORIGEN, a otro punto denomInado DESTINO.

Los análisis de señales

y circuitos nos permiten presentar una serie de

elementos y sistemas eléctronicos que realizan dicho objetivo con eficiencia y seguridad.

La teoría de la información nos proporciona una serie de conceptos y formulaciones desde el punto de vista matemático, que permiten en última instancia plantear alternativas para el manejo inteligente del proceso de comunicación.

La teoría de la información nos resuelve desde el punto de vista de la ingeniería situaciones como: a) Cuál es el contenido real de información de un mensaje? b) Entre varias formas de expresar un mensaje cuál es la óptima cuando se trata de optimizar parámetros como: tiempo invertido para transmitirlo,

ancho de banda, cantidad de símbolos o señales para representarlo?

como el campo de la cibernética que se ocupa de la descripción y evaluación matemática de los métodos de transmisión. • Puede definirse alternativamente la teroría de la información. con mínima probabilidad de pérdida de información? f) Cómo puede el receptor de la información. procurar que la posibilidad de error sea mínima? Cómo puede darse cuenta de que hay un error y cómo lograr corregirlo? g) Cómo logro introducir cambios a la estructura de una información para a) Facilitar su inmunidad a perturbaciones naturales o artificiales (ruido).c) Si los mensajes se codifican para su almacenamiento y transmisión. conservación. 2 . c) Encriptarla para mínima posibilidad de captura por receptores no autorizados. que un medio ó canal específico de comunicación tiene para transmitir información? e) Cómo acoplo el canal de comunicación con la fuente de información a fin de lograr la máxima transferencia de información por el canal. clasificación y medida de la infromación. b) Rescatar la información ante eventuales errores en la transmisión. cómo selecciono o diseño un código óptimo para ello? d) Cuál es la capacidad máxima. extracción. d) Minimizar el número de elementos de código necesarios para representar una información: Compresión.

• El estudio de la teoria de la información debe permitir: conocer las técnicas de cifrado. 3 . corrección y detección de errores y procesos de eliminación de redundancia en una información.

Una fuente sin memoria pude especificarse por: la lista de símbolos. La información contenida en eventos independientes debería sumarse. es un elemento que produce mensajes. es inversamente proporcional a la probabilidad de ocurrencia. I ( x i ) = Log 2 1 P ( x1 ) bits 1 4 . 1. La cantidad de información de un mensaje. En un sistema de comunicación. Si un evento es conocido. que produce a su salida un evento. y la rata de generación de los símbolos de la fuente. la información aportada es cero. Una fuente discreta está formada por un conjunto finito de símbolos. dicha salida es seleccionada aleatoriamente de acuerdo a una probabilidad de distribución. La probabilidad de un mensaje siempre estará en un valor entre cero y uno.CONCEPTOS BÁSICOS DE LA TEORÍA DE LA INFORMACIÓN Medida de la Información: 1.1 Fuentes de Información: Una fuente de información es un objeto. de hecho su probabilidad de ocurrencia es uno. la probabilidad de ocurrencia de los símbolos.2 Contenido de Información de Fuentes discretas sin memoria. y éstos pueden ser análogos o discretos. Las fuentes de información pueden clasificarse en fuentes con memoria y fuentes sin memoria.

4 Rata de Información: Si la fuente emite símbolos a una rata r (símbolos/segundo). Tendrá como unidad el NAT... y estamos mas interesados en el contenido promedio de información que la fuente produce. que en la información contenida en cada símbolo. transmitimos usualmente secuencias largas de símbolos. el contenido de información puede expresarse según 1 . si empleamos logaritmos decimales. 5 .3 Entropía de una Fuente de Información: H Es un parámetro que nos permite determinar el contenido promedio de información de una fuente o un mensaje en particular. En un proceso de comunicación.r = rata _ de _ símbolos _ en _ Simbolos / Segundo. si empleamos logaritmos naturales. La conversión de unidades podrá realizarse de acuerdo a la siguiente expresión: Log 2 a = ln a / ln 2 = log a / log 2 1. I ( x i ) tendrá como unidad el bit. con una probabilidad de ocurrencia P(x1). Luego: H ( X ) = E [ I ( x i ) ] = ∑ P ( x i ) I ( x i ) = −∑ P ( x i ) log 2 P ( x i )bit / simbolo i =1 i =1 m m 1. si empleamos logaritmos binarios. Tendrá como unidad el HARTLEY...Si existe un mensaje x1. la rata o velocidad de emisión de información de la fuente puede expresarse como: R = r * H . H = entropia _ en _ Bit / Símbolo..

depende solamente del símbolo corriente a la entrada... Sus probabilidades a priori se conocen: P(x i). EL CANAL DE COMUNICACIÓN Es la trayectoria o medio a través del que fluyen los símbolos del origen al destino.. xm. La salida Y. El canal es discreto. es un modelo estadístico. en promedio. son finitos.. con una entrada X. y una salida Y. La entropía es igual al mínimo número de digitos por mensaje o símbolo. y2. cuando el símbolo de salida corriente.. es la 6 . se expresa con una probabilidad condicional P(yi/xj).Por lo anterior podemos decir que el contenido de información de cualquier mensaje es igual al mínimo número de digitos que se requieren para codificarlo. el canal acepta un símbolo de entrada de X. xi. Y. consiste de los símbolos de entrada x 1. y no de ningún símbolo previo. (DMC). Un canal discreto sin memoría. o intervalo de señalización. La figura muestra un canal DMC. y en respuesta genera un símbolo de salida de Y. consiste de los símbolos y 1.yn. necesarios para codificarlo. con m entradas y n salidas. Durante cada unidad de tiempo. cundo los alfabetos X.. yj. x2.. x1 x2 x3 y1 y2 P( yj/xi ) xi xm y3 yj yn X y La entrada X. donde P (xi/yj) P( y 1/x1 ) P( y1/x1 ). Es “sin memoria” . Cada posible trayectoria de entrada – salida.

..........P(ym) ] luego: [P(Y)] = [P(X)] * [P(Y/X)]............... [ P ( Y/X ) ] = .......... Se genera la matrix [P(Y/X)] . Matrix del Canal... las probabilidades de salida se representan por la matrix fila: [P(Y) = [P(y1) P(y2) ..... Capacidad del Canal: 7 .. . dada la entrada xi.........P( yn/x3 ) P( y1/xm ) P( y2/xm ) .probabilidad condicional de obtener la salida yj.. conocida como matriz del canal. P( yn/x1 ) P( y1/x2 ) P( y2/x2 ). P( yn/x2 ) P( y1/x3 ) P( y2/x3 ) ......... Un canal pude especificarse por el conjunto completo de probabilidades de transcición.....P(xm) ] . P( yn/xm ) ∑ P( yj / xi ) = 1para − todo − i j =1 j =n Si las probabilidades de entrada se representan por la matrx fila: [P(X) = [P(x 1) P(x2) . P( y1/x1 ) P( y2/x1 ) .. y es llamada la probabilidad de transcición del canal.

Así por ejemplo para un canal perturbado por ruido Gaussiano. Fuente de Información Codificador Fuente salida binaria X (símbolos) Uno de los objetivos es el de minimizar la rata promedio de bits. y una eficiencia de código. la salida de una fuente de información. C = Capacidad máxima de transporte del canal en bits por Bw = Es el ancho de banda del canal en Hertz. que un canal puede soportar.Log 2 1 +  N  bit seg donde segundo.Es un parámetro que nos indica cual es la cantidad máxima de bits. CODIFICACIÓN DE LA FUENTE . Existe una longitud de código. La eficiencia de la codificación 8 . S = Es la relación de potencia de señal a potencia de ruido N que soporta el canal. Es el proceso por el cuál. reduciendo la redundancia de la fuente. se convierte en una secuencia binaria. la capacidad de canal puede calcularse como: S   C = Bw. necesarios para la representación de la información. El elemento que realiza éste proceso se conoce como “codificador fuente ” (Codec). Alternativamente es la acción de asignar dígitos binarios a secuencias de símbolos que conllevan la información.

a la entropía de la fuente. Fuente de Información Codificador de Canal secuencia de bits secuencia modificada Fuente de Información Codificador Codificador Fuente de Canal X (símbolos) salida binaria secuencia modificada 9 . CODIFICACIÓN DEL CANAL Su propósito: es el de diseñar códigos que permitan una óptima transmisión de información digital sobre el canal. La señal puede provenir de un codificador fuente ó de una fuente binaria directamente.procura en aproximar la longitud promedio de las palabras de código (número promedio de dígitos binarios ). En última instancia permite desarrollar técnicas eficientes para la detección y corrección de errores.

n símbolos de salida se ven afectados por v*k símbolos de entrada (v . a secuencias de símbolos de algún otro alfabeto X = { x1. . [X]. y X alfabeto código. y salen n símbolos.. no es posible la transmisión libre de errores. si H(x) > C. con una entropía H(x). se convierte en un bloque de n bits. . S recibe el nombre de alfabeto fuente. con una arbitrariamente pequeña probabilidad de error. el bloque resultante es llamado un (n.TEOREMA: Dada una fuente discreta. Entran k símbolos y salen n símbolos.xj } . si H(X) < / = C. cada uno de k bits de largo. como la correspondencia de todas las secuencias posibles de símbolos de S. El mensaje binario. generando algoritmos para que le receptor detecte y corrija posibles errores sobre el mismo bloque recibido. Es posible el Código. Estos procesos de codificación. en los cuáles entran k símbolos al codificador.. BCH. S. Reed – Miller y Golay. pude transmitirse por el canal.. Existen los códigos lineales y los cíclicos. Acá están por ejemplo entre los cíclicos: Codificación Hamming. El codificador no pose memoria. código bloque. al paquete original de transmisión (redundancia). o la secuencia de datos se divide en bloques secuenciales. implican la adición de bits. definimos un código. y cada k – bits bloque. Igualmente. existe un esquema de codificación. n > k. El otro proceso. Si denominamos S = { s1..k) . pero no se nos dice cuál es.sj } al conjunto de símbolos de un alfabeto. n > k. y un canal con capacidad C. sin memoria. 10 . Siempre se asignan bloques adicionales de una manera fija a las secuencias de entrada. Reed – Solomon. para el que la salida de la fuente. Existen básicamente dos procesos: CODIGOS DE BLOQUES. x2. que constituyen un proceso de codificación con memoria. s2. Hay incremento de ancho de banda y de recursos para manipularlos. lo constituyen los CÓDIGOS CONVOLUCIONALES..

aprovecha la limitación de respuesta del receptor: caso del video. Es el arte o ciencia de representar la información en forma compacta. porque la secuencia de salida depende de un numero definido de entradas previas Automatic Request (ARQ). donde existe un proceso de síntesis. Hay memoria. El código Morse es un prototipo de la compresión: procura reducir el tiempo promedio de transmisión. (Ley de Parkinson). El proceso presenta una entrada de símbolos X. (ACK. COMPRESIÓN DE DATOS. eficiente en manejo de ancho de banda. en canales con altos retardos de transmisión.0). Decimos que hay un orden o relación de compresión n = X/Y. Siempre será justificable la compresión. n>1. NAC ). es simple. es otro ejemplo de código con compresión. y presupone la existencia de bidireccionalidad en el canal.. Se puede trabajar a nivel de estructuras estadísticas como un alfabeto. En otros se almacenamiento y transmisión crecen al doble de la disponibilidad de los recursos para los mismos.}. 11 . es útil en canales simples. pues las necesidades para o estructuras físicas como la voz. al cuál aplicamos un algoritmo específico y obtenemos una secuencia de salida Y . Los datos obedecen a cualquier representación binaria de una señal de información. identificando y usando estructuras que existen en los datos mismos. Forward Error Correction (FEC). El Braille. asignando palabras de código cortas. . Se crean estas. a = . a las letras mas frecuentes: { e = . tal que Y < X. y permite altas velocidades en la comunicación.

Es usado para textos. 13.: la voz. 17. Ej. El proceso consiste en un paso de modelado. Ej. Se logran altos índices de compresión. En manejo de cantidades numéricas. La información análoga generalmente admite éste tipo de compresión. ( Lossless Compresión). La cantidad de memoria requerida para su implementación. Calidad de la señal reconstruida. fotografías. 14. Compresión con pérdidas. datos de computadoras y otros formatos que exigen integridad de la información. y recibes “Do now send money “. Implica no pérdida de información. El algoritmo de compresión se evalúa según: • • • • • Su complejidad. donde se extrae cualquier relación existente entre los datos a comprimir (generación del algoritmo). ( Lossy Compresión ) : implica pérdidas de información. y luego una codificación específica que satisfaga el algoritmo.Compresión sin pérdidas. 17. 13. imágenes radiológicas. el video. 11. 16. 20. 15. Relación de compresión obtenida. Se opera con fundamento en medidas de satisfacción. pude ser fatal. La información compactada generalmente no puede reproducirse en forma exacta.: si envías: ‘ Do not send money “ . el audio. 21 Una codificación simple exige cinco bits por carácter. Si analizamos la estructura podemos definir 12 . 11. Velocidad de realización del proceso. Ej. Secuencia 9. Los datos originales se recuperan exactamente del modelo comprimido. imágenes satelitales. Los índices de compresión son aún bajos. 11.

11. 10. 12. en = 0.. 14. 01 a –1. 1. -1. 13 . 1. 3. 10 a –1. . 15. -1.. 14 15. 11. 2. 0.. 11. en = xn .Ω n= 1. xn = 9. para codificar la nueva secuencia: 00 = 0.Ω = n+8 . 0. 11. 13. 13. Ω = 9. Sólo se necesitarán dos bits por carácter.