Teora de la Informacin

Prof: Alexis Barrientos V.

UNIVERSIDAD NACIONAL EXPERIMENTAL
DEL TCHIRA
Abril 2009
Teora de la Informacin
Informacin: comunicacin o adquisicin de
conocimiento que permite ampliar o precisar lo que
se posee sobre una materia determinada
Es el bien producido por una fuente para
transferirlo a algn usuario en el destino.

Teora de la Informacin: El objetivo de la teora
de informacin es obtener una medida cuantitativa
de la informacin contenida en las seales
mensajes y poder determinar la capacidad de un
sistema de transferir esa informacin desde su
origen hasta su destino
Medida de la informacin
La informacin recibida es inversamente
proporcional a su probabilidad de ocurrencia
Si un evento es cierto su informacin es cero.
Si un evento es imposible su informacin es
infinita.
Si denota un evento arbitrario y es la
probabilidad de que el evento se seleccione para
la transmisin, la cantidad de informacin asociada
a es
Si b=10, I esta en Hartley
Si b=e, I est en nat
Si b=2, I est en bits
Entropa
En general, el contenido de la informacin variar
de mensaje en mensaje. Por consecuencia se
necesita una medida de informacin promedio para
la fuente.
La medida de informacin promedio de una
fuente digital o entropa, est dada por:



Donde M es el nmero de mensajes de la fuente, y
la probabilidad de enviar el j-simo mensaje.
Entropa
Ejemplo 4-1: Entropa de una fuente binaria.
Sea una fuente binaria (M=2). Las probabilidades de los
smbolos son p y (1-p), respectivamente. Por consiguiente:



Ejemplo 4-2: Una fuente produce cuatro smbolos A, B, C y
D cuyas probabilidades son, respectivamente 0.5, 0.25,
0.125 y 0.125. La entropa de la fuente ser
Entropa
Ejemplo 4-3: Evaluacin de la informacin y entropa.
Encuentre el contenido de informacin de un mensaje que
consiste en una palabra digital de 12 dgitos en donde cada
digito puede tener uno de cuatro niveles. Asuma que la
probabilidad de enviar uno de los cuatro niveles es igual y
que el nivel en cualquier digito es independiente.
Velocidad de Informacin
Sea una fuente que produce M smbolos distintos e
independientes a una velocidad de V
s
smbolos por
segundos. Si se supone que todos los smbolos tienen la
misma duracin, entonces


La velocidad de informacin ser entonces


Si los smbolos son equiprobables
Capacidad de Canal
Es posible la invencin de un sistema sin error de bit a la
salida aun cuando se introduzca ruido en el canal?

Segn Claude Shannon (1949), si es posible bajo ciertas
suposiciones:

Para el caso de una seal con ruido blanco gaussiano
aadido, se puede calcular una capacidad de canal
C(bits/s) tal que si la velocidad de informacin R es menor
a C, entonces la probabilidad de error se aproximar a cero.
Donde
Capacidad de Canal


Se conoce como la Ley de Hartley-Shannon

Siendo C el ndice de transmisin de informacin por
segundo o capacidad del canal.

Es el nmero mximo de smbolos binarios (bits) que
pueden transmitirse por segundo con una probabilidad de
error cercana a cero.

S/N se da en Watts/Watts y se mide a la entrada del
receptor.
Capacidad de Canal


Con esto Shannon sealo una meta del rendimiento
terico que hay que tratar de lograr en los sistemas de
comunicaciones prcticos.

Los sistemas que se aproximan a esta meta, por lo
general incorporan codificacin y correccin de errores.

La clave en los sistemas de comunicacin libre de
errores es la utilizacin de una redundancia adecuada.
Capacidad de Canal
Si los datos a la salida de un sistema de comunicacin
digital contienen errores que son muy frecuentes, estos se
reducen mediante una de dos tcnicas
ARQ (Automatic Repeat Request)
FEC (Forward Error Correction)
En un sistema ARQ, cuando el circuito receptor detecta
errores en un bloque de datos, solicita que se retransmitan.
Se utilizan en los sistemas de comunicacin de
computacin debido a que es econmico implementar.
En un sistema FEC, los datos transmitidos se codifican
de modo que el receptor pueda detectar y corregir errores.
Se utilizan en los sistemas de largas demoras en la
transmisin donde no es practico el uso de ARQ
Capacidad de Canal
Ejemplos 4-4: Un usuario de computadora planea adquirir
un modem de alta velocidad para el envo de datos sobre la
lnea telefnica analgica. La lnea telefnica tiene una
relacin seal a ruido (SNR) de 25 dB y pasa
audiofrecuencias que se encuentran ms all del rango 300
a 3200 Hz. Cual es la mxima velocidad de datos que
puede enviarse sobre la lnea telefnica cuando no existen
errores en el lado del receptor
Codificacin del Canal
Corresponde a la adaptacin o conversin de los smbolos
en formas compatibles con el medio de comunicacin.
Una clase muy importante de conversin es aquella que
convierte los smbolos producidos por la fuente en
secuencia de impulsos.
Se supone entonces que cada smbolo se transforma en
una secuencia particular de n impulsos con m amplitudes
diferentes.
Codificacin del Canal





Sea entonces una fuente discreta que produce N smbolos
distintos e independientes, que podemos suponer
equiprobables, a una velocidad V
s
=1/T smbolos/sec. Los
smbolos se codifican, cada uno, en secuencias
Telecomunicaciones I