Resumen Teoría Matemática De La Información

Es la teoría relacionada con las leyes matemáticas que rige la transmisión y

el procesamiento de la información. Más concretamente, la teoría de la
información se ocupa de la medición de la información y de la
representación de la misma (como, por ejemplo, su codificación) y de la
capacidad de los sistemas de comunicación para transmitir y procesar
información.
La codificación puede referirse tanto a la transformación de voz o imagen en
señales eléctricas o electromagnéticas, como al cifrado de mensajes para
asegurar su privacidad.
La teoría de la información fue desarrollada inicialmente, en 1948, por el
ingeniero electrónico estadounidense Claude E. Shannon, en su artículo, A
Mathematical Theory of Communication (Teoría matemática de la
comunicación). La necesidad de una base teórica para la tecnología de la
comunicación surgió del aumento de la complejidad y de la masificación de
las vías de comunicación, tales como el teléfono, las redes de teletipo y los
sistemas de comunicación por radio. La teoría de la información también
abarca todas las restantes formas de transmisión y almacenamiento de
información, incluyendo la televisión y los impulsos eléctricos que se
transmiten en las computadoras y en la grabación óptica de datos e
imágenes. El término información se refiere a los mensajes transmitidos: voz
o música transmitida por teléfono o radio, imágenes transmitidas por
sistemas de televisión, información digital en sistemas y redes de
computadoras, e incluso a los impulsos nerviosos en organismos vivientes.
De forma más general, la teoría de la información ha sido aplicada en
campos tan diversos como la cibernética, la criptografía, la lingüística, la
psicología y la estadística.
El tipo de sistema de comunicación más estudiado consta de varios
componentes. El primero es una fuente de información (por ejemplo, una
persona hablando) que produce un mensaje o información que será
transmitida. El segundo es un transmisor (como, por ejemplo, un teléfono y
un amplificador, o un micrófono y un transmisor de radio) que convierte el
mensaje en señales electrónicas o electromagnéticas. Estas señales son
transmitidas a través de un canal o medio, que es el tercer componente,
como puede ser un cable o la atmósfera. Este canal es especialmente
susceptible a interferencias procedentes de otras fuentes, que distorsionan
y degradan la señal. (Algunos ejemplos de interferencias, conocidas como
ruido, incluyen la estática en la recepción de radios y teléfonos, y la nieve
en la recepción de imágenes televisivas). El cuarto componente es el
receptor, como por ejemplo el de radio, que transforma de nuevo la señal
recibida en el mensaje original. El último componente es el destinatario,
como por ejemplo una persona escuchando el mensaje.
Dos de las principales preocupaciones en la teoría de la información son la
reducción de errores por interferencias en los sistema de comunicación, y el
uso más eficiente de la capacidad total del canal.
Un concepto fundamental en la teoría de la información es que la
cantidad de información contenida en un mensaje es un valor matemático
bien definido y medible. El término cantidad no se refiere a la cuantía de
datos, sino a la probabilidad de que un mensaje, dentro de un conjunto de
mensajes posibles, sea recibido. En lo que se refiere a la cantidad de
información, el valor más alto se le asigna al mensaje que menos
probabilidades tiene de ser recibido. Si se sabe con certeza que un mensaje
va a ser recibido, su cantidad de información es 0. Si, por ejemplo, se lanza
una moneda al aire, el mensaje conjunto cara o cruz que describe el
resultado, no tiene cantidad de información. Sin embargo, los dos mensajes
por separado cara o cruz tienen probabilidades iguales de valor un medio.
Para relacionar la cantidad de información (I) con la probabilidad, Shannon
presentó la siguiente fórmula:
I = log21/p
Donde p es la probabilidad del mensaje que se transmite y log2 es el
logaritmo de 1/p en base 2. (log2 de un número dado X es el exponente Y al
que tiene que ser elevado el número 2 para obtener dicho número X. Por
ejemplo, log2 de 8 = 3, porque 23 = 8). Utilizando esta fórmula, obtenemos
que los mensajes cara y cruz tienen una cantidad de información de log22 =
1.
La cantidad de información de un mensaje puede ser entendida como el
número de símbolos posibles que representan el mensaje. En el ejemplo
anterior, si cruz está representado por un 0 y cara por un 1, sólo hay una
forma de representar el mensaje: 0 o 1. El 0 y el 1 son los dígitos del
sistema binario (véase Sistema numérico), y la elección entre estos dos
símbolos corresponde a la llamada unidad de información binaria o bit. Si se
lanza una moneda tres veces seguidas, los ocho resultados (o mensajes)
igualmente probables pueden ser representados como
000,001,010,011,100,101,110 o 111. Estos mensajes corresponden a los
números 0,1,...7 escritos en notación binaria. La probabilidad de cada
mensaje es de un octavo, y su cantidad de información es log21 ˆ = 3, que
es el número de bits que se necesitan para representar cada mensaje.
En la mayoría de las aplicaciones prácticas, hay que elegir entre
mensajes que tienen diferentes probabilidades de ser enviados. El término
entropía ha sido tomado prestado de la termodinámica, para designar la
cantidad de información media de estos mensajes. La entropía puede ser
intuitivamente entendida como el grado de desorden en un sistema. En la
teoría de la información la entropía de un mensaje es igual a su cantidad de
información media. Si en un conjunto de mensajes, sus probabilidades son
iguales, la fórmula para calcular la entropía total sería: H = log2N, donde N
es el número de mensajes posibles en el conjunto.
Si se transmiten mensajes que están formados por combinaciones
aleatorias de las 26 letras del alfabeto inglés, el espacio en blanco y cinco
signos de puntuación, y si suponemos que la probabilidad de cada mensaje
es la misma, la entropía sería: H = log232 = 5. Esto significa que se
necesitan 5 bits para codificar cada carácter o mensaje: 00000, 00001,
00010, 11111. Una transmisión y almacenamiento eficiente de la
información exige la reducción del número de bits utilizados en su
codificación. Esto es posible cuando se codifican textos en español, porque
la colocación de las letras no es aleatoria. Así, por ejemplo, la probabilidad
de que la letra que suceda a la secuencia información sea una n es muy
alta.

Se puede demostrar que la entropía del español normal escrito es

aproximadamente de un bit por palabra. Esto demuestra que la lengua
española (como cualquier otra) tiene una gran cantidad de redundancia
incorporada, que se denomina redundancia natural. Esta redundancia
permite, por ejemplo, a una persona entender mensajes en los cuales faltan
vocales, así como descifrar escritura poco legible. En los sistemas de
comunicación modernos, se añade redundancia artificial a la codificación de
mensajes, para reducir errores en la transmisión de los mismos. ()
Bibliografía
Shannon, C. E. (1948). Una teoría matemática de la comunicación. U.S.A.:
American Telegraph And Telephone Co.