TEORA DE LA INFORMACIN

El objetivo de un sistema de comunicacin en su sentido amplio es la transmisin eficiente de informacin de un punto denominado ORIGEN, a otro punto denomInado DESTINO.

Los anlisis de seales

y circuitos nos permiten presentar una serie de

elementos y sistemas elctronicos que realizan dicho objetivo con eficiencia y seguridad.

La teora de la informacin nos proporciona una serie de conceptos y formulaciones desde el punto de vista matemtico, que permiten en ltima instancia plantear alternativas para el manejo inteligente del proceso de comunicacin.

La teora de la informacin nos resuelve desde el punto de vista de la ingeniera situaciones como: a) Cul es el contenido real de informacin de un mensaje? b) Entre varias formas de expresar un mensaje cul es la ptima cuando se trata de optimizar parmetros como: tiempo invertido para transmitirlo,

ancho de banda, cantidad de smbolos o seales para representarlo?

c) Si los mensajes se codifican para su almacenamiento y transmisin, cmo selecciono o diseo un cdigo ptimo para ello?

d) Cul es la capacidad mxima, que un medio canal especfico de comunicacin tiene para transmitir informacin? e) Cmo acoplo el canal de comunicacin con la fuente de informacin a fin de lograr la mxima transferencia de informacin por el canal, con mnima probabilidad de prdida de informacin? f) Cmo puede el receptor de la informacin, procurar que la posibilidad de error sea mnima? Cmo puede darse cuenta de que hay un error y cmo lograr corregirlo? g) Cmo logro introducir cambios a la estructura de una informacin para a) Facilitar su inmunidad a perturbaciones naturales o artificiales (ruido). b) Rescatar la informacin ante eventuales errores en la transmisin. c) Encriptarla para mnima posibilidad de captura por receptores no autorizados. d) Minimizar el nmero de elementos de cdigo necesarios para representar una informacin: Compresin. Puede definirse alternativamente la terora de la informacin, como el campo de la ciberntica que se ocupa de la descripcin y evaluacin matemtica de los mtodos de transmisin, conservacin, extraccin, clasificacin y medida de la infromacin.

El estudio de la teoria de la informacin debe permitir: conocer las tcnicas de cifrado, correccin y deteccin de errores y procesos de eliminacin de redundancia en una informacin,

CONCEPTOS BSICOS DE LA TEORA DE LA INFORMACIN

Medida de la Informacin: 1.1 Fuentes de Informacin: Una fuente de informacin es un objeto, que produce a su salida un evento; dicha salida es seleccionada aleatoriamente de acuerdo a una probabilidad de distribucin. En un sistema de comunicacin, es un elemento que produce mensajes, y stos pueden ser anlogos o discretos. Una fuente discreta est formada por un conjunto finito de smbolos. Las fuentes de informacin pueden clasificarse en fuentes con memoria y fuentes sin memoria. Una fuente sin memoria pude especificarse por: la lista de smbolos, la probabilidad de ocurrencia de los smbolos, y la rata de generacin de los smbolos de la fuente. 1.2 Contenido de Informacin de Fuentes discretas sin memoria. La cantidad de informacin de un mensaje, es inversamente proporcional a la probabilidad de ocurrencia. Si un evento es conocido, la informacin aportada es cero, de hecho su probabilidad de ocurrencia es uno. La probabilidad de un mensaje siempre estar en un valor entre cero y uno. La informacin contenida en eventos independientes debera sumarse.

I ( x i ) = Log2 1

P ( x1 )

bits

Si existe un mensaje x1, con una probabilidad de ocurrencia P(x1), el contenido de informacin puede expresarse segn
1

I ( x i ) tendr como unidad el bit, si empleamos logaritmos binarios.

Tendr como unidad el HARTLEY, si empleamos logaritmos decimales. Tendr como unidad el NAT, si empleamos logaritmos naturales. La conversin de unidades podr realizarse de acuerdo a la siguiente expresin:
Log 2 a = ln a / ln 2 = log a / log 2

1.3 Entropa de una Fuente de Informacin: H Es un parmetro que nos permite determinar el contenido promedio de informacin de una fuente o un mensaje en particular. En un proceso de comunicacin, transmitimos usualmente secuencias largas de smbolos, y estamos mas interesados en el contenido promedio de informacin que la fuente produce, que en la informacin contenida en cada smbolo. Luego:

H ( X ) = E [ I ( x i ) ] = P( x i ) I ( x i ) = P ( x i ) log 2 P ( x i )bit / simbolo

i =1 i =1

1.4 Rata de Informacin: Si la fuente emite smbolos a una rata r (smbolos/segundo), la rata o velocidad de emisin de informacin de la fuente puede expresarse como:

R = r * H . . ..r..= r a t _ d e_ s m b o _l o n_ S i m b o/lSo es g u n, H o e n t r o p e an_ B i /t S m b .o l o a es d= _i

Por lo anterior podemos decir que el contenido de informacin de cualquier mensaje es igual al mnimo nmero de digitos que se requieren para codificarlo. La entropa es igual al mnimo nmero de digitos por mensaje o smbolo, en promedio, necesarios para codificarlo.

EL CANAL DE COMUNICACIN Es la trayectoria o medio a travs del que fluyen los smbolos del origen al destino. Un canal discreto sin memora, (DMC), es un modelo estadstico, con una entrada X, y una salida Y. Durante cada unidad de tiempo, o intervalo de sealizacin, el canal acepta un smbolo de entrada de X, y en respuesta genera un smbolo de salida de Y. El canal es discreto, cundo los alfabetos X, Y, son finitos. Es sin memoria , cuando el smbolo de salida corriente, depende solamente del smbolo corriente a la entrada, y no de ningn smbolo previo. La figura muestra un canal DMC, con m entradas y n salidas. x1 x2 x3

y1 y2

P( yj/xi )
xi xm

y3 yj yn

La entrada X, consiste de los smbolos de entrada x1, x2, xi,... xm. Sus probabilidades a priori se conocen: P(xi). La salida Y, consiste de los smbolos y 1, y2, yj,....yn. Cada posible trayectoria de entrada salida, se expresa con una probabilidad condicional P(yi/xj), donde P (xi/yj) P( y1/x1 ) P( y1/x1 ), es la

probabilidad condicional de obtener la salida yj, dada la entrada xi, y es llamada la probabilidad de transcicin del canal. Matrix del Canal. Un canal pude especificarse por el conjunto completo de probabilidades de transcicin. Se genera la matrix [P(Y/X)] , conocida como matriz del canal.

P( y1/x1 ) P( y2/x1 ) ................ P( yn/x1 ) P( y1/x2 ) P( y2/x2 ).... [ P ( Y/X ) ] = ...... P( yn/x2 ) P( y1/x3 ) P( y2/x3 ) ................. .P( yn/x3 ) P( y1/xm ) P( y2/xm ) ................ P( yn/xm )

P( yj / xi ) = 1para todo i
j =1

j =n

Si las probabilidades de entrada se representan por la matrx fila: [P(X) = [P(x 1) P(x2) .....P(xm) ] ; las probabilidades de salida se representan por la matrix fila: [P(Y) = [P(y1) P(y2) .....P(ym) ] luego: [P(Y)] = [P(X)] * [P(Y/X)].

Capacidad del Canal:

Es un parmetro que nos indica cual es la cantidad mxima de bits, que un canal puede soportar. As por ejemplo para un canal perturbado por ruido Gaussiano, la capacidad de canal puede calcularse como:
S C = Bw.Log 2 1 + N bit seg

donde segundo.

C = Capacidad mxima de transporte del canal en bits por

Bw = Es el ancho de banda del canal en Hertz.

S = Es la relacin de potencia de seal a potencia de ruido N

que

soporta el canal.

CODIFICACIN DE LA FUENTE . Es el proceso por el cul, la salida de una fuente de informacin, se convierte en una secuencia binaria. El elemento que realiza ste proceso se conoce como codificador fuente (Codec). Alternativamente es la accin de asignar dgitos binarios a secuencias de smbolos que conllevan la informacin.

Fuente de Informacin

Codificador

Fuente salida binaria

X (smbolos)

Uno de los objetivos es el de minimizar la rata promedio de bits, necesarios para la representacin de la informacin, reduciendo la redundancia de la fuente. Existe una longitud de cdigo, y una eficiencia de cdigo. La eficiencia de la codificacin

procura en aproximar la longitud promedio de las palabras de cdigo (nmero promedio de dgitos binarios ), a la entropa de la fuente. CODIFICACIN DEL CANAL Su propsito: es el de disear cdigos que permitan una ptima transmisin de informacin digital sobre el canal. En ltima instancia permite desarrollar tcnicas eficientes para la deteccin y correccin de errores. La seal puede provenir de un codificador fuente de una fuente binaria directamente.

Fuente de Informacin

Codificador

de Canal

secuencia de bits

secuencia modificada

Fuente de Informacin

Codificador

Codificador

Fuente

de Canal

X (smbolos)

salida binaria

secuencia modificada

TEOREMA: Dada una fuente discreta, sin memoria, [X], con una entropa H(x), y un canal con capacidad C, si H(X) < / = C, existe un esquema de codificacin, para el que la salida de la fuente, pude transmitirse por el canal, con una arbitrariamente pequea probabilidad de error. Igualmente, si H(x) > C, no es posible la transmisin libre de errores. Es posible el Cdigo, pero no se nos dice cul es. Si denominamos S = { s1, s2, ...sj } al conjunto de smbolos de un alfabeto, S; definimos un cdigo, como la correspondencia de todas las secuencias posibles de smbolos de S, a secuencias de smbolos de algn otro alfabeto X = { x1,

x2, ....xj } , S recibe el nombre de alfabeto fuente, y X alfabeto cdigo.

Estos procesos de codificacin, implican la adicin de bits, al paquete original de transmisin (redundancia); generando algoritmos para que le receptor detecte y corrija posibles errores sobre el mismo bloque recibido. Hay incremento de ancho de banda y de recursos para manipularlos. Existen bsicamente dos procesos: CODIGOS DE BLOQUES, en los cules entran k smbolos al codificador, y salen n smbolos. El codificador no pose memoria, n > k. El mensaje binario, o la secuencia de datos se divide en bloques secuenciales, cada uno de k bits de largo, y cada k bits bloque, se convierte en un bloque de n bits, n > k, el bloque resultante es llamado un (n,k) , cdigo bloque. Existen los cdigos lineales y los cclicos. Ac estn por ejemplo entre los cclicos: Codificacin Hamming, BCH, Reed Solomon, Reed Miller y Golay. Siempre se asignan bloques adicionales de una manera fija a las secuencias de entrada. El otro proceso, lo constituyen los CDIGOS CONVOLUCIONALES, que constituyen un proceso de codificacin con memoria. Entran k smbolos y salen n smbolos; n smbolos de salida se ven afectados por v*k smbolos de entrada (v . 10

0). Hay memoria, porque la secuencia de salida depende de un numero definido de entradas previas Automatic Request (ARQ), es simple, eficiente en manejo de ancho de banda, y presupone la existencia de bidireccionalidad en el canal. (ACK, NAC ). Forward Error Correction (FEC), es til en canales simples, en canales con altos retardos de transmisin, y permite altas velocidades en la comunicacin. COMPRESIN DE DATOS. Es el arte o ciencia de representar la informacin en forma compacta. Se crean estas, identificando y usando estructuras que existen en los datos mismos. Los datos obedecen a cualquier representacin binaria de una seal de informacin. El cdigo Morse es un prototipo de la compresin: procura reducir el tiempo promedio de transmisin, asignando palabras de cdigo cortas, a las letras mas frecuentes: { e = - , a = . - }. El Braille, es otro ejemplo de cdigo con compresin. Se puede trabajar a nivel de estructuras estadsticas como un alfabeto, aprovecha la limitacin de respuesta del receptor: caso del video. Siempre ser justificable la compresin, pues las necesidades para o

estructuras fsicas como la voz, donde existe un proceso de sntesis. En otros se

almacenamiento y transmisin crecen al doble de la disponibilidad de los recursos para los mismos. (Ley de Parkinson). El proceso presenta una entrada de smbolos X, al cul aplicamos un algoritmo especfico y obtenemos una secuencia de salida Y , tal que Y < X. Decimos que hay un orden o relacin de compresin n = X/Y, n>1.

11

Compresin sin prdidas. ( Lossless Compresin). Implica no prdida de informacin. Los datos originales se recuperan exactamente del modelo comprimido. Es usado para textos, datos de computadoras y otros formatos que exigen integridad de la informacin. Los ndices de compresin son an bajos. Ej.: si envas: Do not send money , y recibes Do now send money , pude ser fatal. En manejo de cantidades numricas, imgenes radiolgicas, imgenes satelitales. Compresin con prdidas. ( Lossy Compresin ) : implica prdidas de

informacin. La informacin compactada generalmente no puede reproducirse en forma exacta. Se logran altos ndices de compresin. Ej.: la voz, el audio, el video, fotografas. Se opera con fundamento en medidas de satisfaccin. La informacin anloga generalmente admite ste tipo de compresin. El algoritmo de compresin se evala segn: Su complejidad. La cantidad de memoria requerida para su implementacin. Velocidad de realizacin del proceso. Relacin de compresin obtenida. Calidad de la seal reconstruida.

El proceso consiste en un paso de modelado, donde se extrae cualquier relacin existente entre los datos a comprimir (generacin del algoritmo), y luego una codificacin especfica que satisfaga el algoritmo. Ej. Secuencia 9, 11, 11, 11, 14, 13, 13, 15, 17, 16, 17, 20, 21 Una codificacin simple exige cinco bits por carcter. Si analizamos la estructura podemos definir

12

 = n+8 . en = xn -

n= 1, 2, 3, ....

= 9, 10, 11, 12, 13, 14 15, xn = 9, 11, 11, 11, 14, 13, 15, en = 0, 1, 0, -1, 1, -1, 0,

Slo se necesitarn dos bits por carcter, para codificar la nueva secuencia:

00 = 0; 01 a 1;

10 a 1.

Entropa (informacin) Para otros usos de este trmino, vase Entropa (desambiguacin).

Entropa es un concepto en termodinmica, mecnica estadstica y teora de la informacin. La Entropa se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La Entropa puede ser considerada como una medida de la incertidumbre y de la informacin necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de informacin y el de entropa estn ampliamente relacionados entre s, aunque se necesitaron aos de desarrollo de la mecnica estadstica y de la teora de la informacin antes de que esto fuera percibido.

Este artculo versa sobre la Entropa, en la formulacin que hace de ella la teora

13

de la informacin. Esta entropa se llama frecuentemente Entropa de Shannon, en honor a Claude E. Shannon.

La Entropa tambin es entendida como la cantidad de informacin promedio que contienen los smbolos usados. Los smbolos con menor probabilidad son los que aportan mayor informacin; por ejemplo, si se considera como sistema de smbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca informacin. Mientras que palabras menos frecuentes como "corren", "nio", "perro" aportan ms informacin. Si de un texto dado borramos un "que", seguramente no afectar a la comprensin y se sobreentender, no siendo as si borramos la palabra "nio" del mismo texto original. Cuando todos los smbolos son igualmente probables (distribucin de probabilidad plana), todos aportan informacin relevante y la entropa es mxima. Finalmente, la entropa de la teora de la informacin est estrechamente relacionada con la entropa termodinmica. En la termodinmica se estudia un sistema de partculas cuyos estados X (usualmente posicin y velocidad) tienen una cierta distribucin de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los smbolos en la teora de la informacin). La entropa termodinmica es igual a la entropa de la teora de la informacin de esa distribucin (medida usando el logaritmo neperiano) multiplicada por la constante de Boltzmannk, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la entropa termodinmica toma la forma k log(N). En un sistema aislado, la interaccin entre las partculas tiende a aumentar su dispersin, afectando sus posiciones y sus velocidades, lo que causa que la entropa de la distribucin aumente con el tiempo hasta llegar a un cierto mximo (cuando el mismo sistema es lo ms homogneo y desorganizado posible); lo que es denominado segunda ley de la termodinmica. La diferencia entre la cantidad de entropa que tiene un sistema y el mximo que puede llegar a tener se denomina neguentropa, y representa la cantidad de organizacin interna que tiene el sistema. A partir de esta ltima se puede definir la energa libre de Gibbs, la que indica la energa que puede liberar el sistema al aumentar la entropa hasta su mximo y puede ser transformada en trabajo (energa mecnica til) usando una mquina ideal de Carnot. Cuando un sistema recibe un flujo de calor, las velocidades de las partculas aumentan, lo que

14

dispersa la distribucin y hace aumentar la entropa. As, el flujo de calor produce un flujo de entropa en la misma direccin. Contenido [ocultar]

1 Concepto bsico 2 Definicin formal 3 Propiedades de la entropa 4 Vase tambin

[editar]Concepto bsico

Entropa de la informacin en un ensayo de Bernoulli X (experimento aleatorio en que X puede tomar los valores 0 o 1). La entropa depende de la probabilidad P(X=1) de que X tome el valor 1. Cuando P(X=1)=0.5, todos los resultados posibles son igualmente probables, por lo que el resultado es poco predecible y la entropa es mxima. El concepto bsico de entropa en teora de la informacin tiene mucho que ver con laincertidumbre que existe en cualquier experimento o seal aleatoria. Es tambin la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de informacin que lleva una seal. Como ejemplo, consideremos algn texto escrito en espaol, codificado como una cadena de letras, espacios y signos de puntuacin (nuestra seal ser una cadena de caracteres). Ya que, estadsticamente, algunos caracteres no son muy comunes (por ejemplo, 'w'), mientras otros s lo son (como la 'a'), la cadena de 15

caracteres no ser tan "aleatoria" como podra llegar a ser. Obviamente, no podemos predecir con exactitud cul ser el siguiente carcter en la cadena, y eso la hara aparentemente aleatoria. Pero es la entropa la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artculo de 1948, A Mathematical Theory of Communication ("Una teora matemtica de la comunicacin", en ingls). Shannon ofrece una definicin de entropa que satisface las siguientes afirmaciones: La medida de informacin debe ser proporcional (continua). Es decir, el cambio pequeo en una de las probabilidades de aparicin de uno de los elementos de la seal debe cambiar poco la entropa.

Si todos los elementos de la seal son equiprobables a la hora de aparecer, entonces la entropa ser mxima.

Ejemplos de mxima entropa : Suponiendo que estamos a la espera de un texto , por ejemplo un cable con un mensaje. En dicho cable solo se reciben las letras en minscula de la a hasta la z, entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwo" el cual posee una longitud de 27 caracteres , se puede decir que este mensaje llega a nosotros con la mxima entropa (o desorden posible); ya que es poco probable que se pueda pronosticar la entrada de caracteres, pues estos no se repiten ni estn ordenados en una forma predecible. [editar]Definicin formal La informacin que aporta un determinado valor (smbolo), aleatoria discreta se define como: , de una variable

cuya unidad es el bit cuando se utiliza el logaritmo en base 2 (por ejemplo, cuando se emplea el logaritmo neperiano se habla de nats). A pesar del signo negativo en la ltima expresin, la informacin tiene siempre signo positivo (lo cual queda ms claro en la primera expresin).

16

La entropa determina el lmite mximo al que se puede comprimir un mensaje usando un enfoque smbolo a smbolo sin ninguna prdida de informacin (demostrado analticamente por Shannon), el lmite de compresin (en bits) es igual a la entropa multiplicada por el largo del mensaje. Tambin es una medida de la informacin promedio contenida en cada smbolo del mensaje. Su clculo se realiza a partir de su distribucin de probabilidad p(x) mediante la siguiente frmula:

Algunas tcnicas de compresin como LZW o deflacin no usan probabilidades de los smbolos aislados, sino usan las probabilidades conjuntas de pequeas secuencias de smbolos para codificar el mensaje, por lo que pueden lograr un nivel de compresin mayor. Nota: La base del logaritmo, a, depender de la variable X con que estemos trabajando, es decir, para una variable binaria usaremos la base 2, para una ternaria la base 3.

[editar]Propiedades de la entropa 1. Es decir, la entropa H esta acotada superiormente (cuando es mxima) y no supone perdida de informacin. 2. Dado un proceso con posibles resultados {A1,..,An} con es mxima probabilidades relativas p1, ...,pn, la funcin en el caso de que 3. Dado un proceso con posibles resultados {A1,..,An} con es nula en probabilidades relativas p1, ...,pn, la funcin el caso de que pi = 0 para todo i.

17