Welcome to Scribd, the world's digital library. Read, publish, and share books and documents. See more
Download
Standard view
Full view
of .
Save to My Library
Look up keyword
Like this
75Activity
0 of .
Results for:
No results containing your search query
P. 1
CodificaciÓn de Fuente

CodificaciÓn de Fuente

Ratings:

5.0

(1)
|Views: 7,188 |Likes:
Published by api-27535945

More info:

Published by: api-27535945 on Oct 14, 2008
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as DOC, PDF, TXT or read online from Scribd
See more
See less

03/18/2014

pdf

text

original

 
CODIFICACIÓN DE FUENTE:Introducción:
A continuación veremos el diagrama de bloques de un sistema de transmisión digital:Se dice que los símbolos son generados por una fuente y a la conversión se le llama codificaciónde fuente (por ejemplo PCM o DPCM). El codificador de fuente también se puede encargar decodificar eficientemente los datos binarios, asignando, por ejemplo, mas bits a los símbolosmenos probables y menos bits a los mas probables. Por su parte, el codificador de canalintroducirá bits redundante de una manera controlada, con el fin de fortalecer la informaciónfrente al ruido o a la interferencia que pueda conseguir en el canal.Luego de pasar por un canal que, entre otras cosas, agrega ruido, el receptor se encarga derealizar todas las operaciones inversas a fin de rescatar el mensaje original.
Teoría de Información:
La teoría de información puede ser vista como una rama de la teoría de probabilidadaplicada y, dentro del área de comunicaciones, pretende dos objetivos: a) Desarrollo de loslímites teóricos de desempeño que se pueden alcanzar en cuanto a la transmisión de una fuente,a través de un canal determinado utilizando cierto tipo de codificación b) Desarrollo de nuevosesquemas de codificación que logren un desempeño razonablemente bueno comparado con ellímite teórico.Una transmisión digital ideal es aquella en donde no ocurren errores. Sin embargo en elsistema existe ruido que aumenta la probabilidad de error. Una forma de reducir la probabilidadde error sería aumentar la energía por bit Eb; para esto, o se aumenta la potencia de transmisiónS, o se reduce la velocidad de transmisión Rb (Eb=S/Rb). Antes de 1948 se pensaba que eraimposible transmitir sin errores. Shannon estableció que:1)Mientras la tasa de transmisn se mantenga dentro de ciertos límites, se podrátransmitir sin errores. NO es necesario que Rb sea nula para lograrlo2)Para esto hay que transmitir por debajo de lo que se conoce como capacidad del canal por segundo (C )Shannon utilizó dos medidas: a) la entropía de la fuente como medida de la cantidad deinformación de la misma o autoinformación y b) una medida de información mutua o sea lainformación que un proceso tiene sobre otro.
Cantidad de Información en un mensaje:
Cuando a uno le transmiten una noticia mientras menos probable sea mas informaciónlleva consigo. Por ejemplo“La próxima clase nos vemoso“Venezuela rompe relaciones con USA”.Es evidente que la segunda oración trata sobre un evento bastante menos probable que el primero y que, por ende, lleva mas información.Si P=Probabilidad de un evento e I= Información, entonces una posible forma de relacionarloses a través de una función logarítmica
 
I es función de log 1/P.Esto puede justificarse si se entiende que las restricciones son:1)La información es un número positivo2)Si la probabilidad de un mensaje es 1, entonces su información es nula3)Si un mensaje A es mas probable que uno B, entonces la información de B es mayoque la información que conlleva A4)Si se tienen dos mensajes independientes A y B, cuando se transmite primero A yluego B, la información recibida por el usuario es la suma de las informaciones delos mensajes individuales. Si hablamos del evento C como el que representa laocurrencia de AyB, entonces P(C)=P(A).P(B); la información que lleva C esfunción de P(A)P(B)Todo esto justifica la aparición de la función logarítmica para relacionar informacióncon probabilidad. La base que se elija para el logaritmo estará relacionada con la unidad deinformación. Así si tomamos base 2, hablaremos de
bi
nary uni
ts o bi
nary digi
ts o bits.
Estotiene un sentido adicional y es que lo mas simple que podemos imaginar es 1 bit; entonces launidad de información estará normalizada respecto al caso de menor orden. Trataremos de noconfundir el bit como elemento de representacn al bit que representa la unidad deinformación. Recordemos que log
a
x=log
 b
x/log
 b
aSi se usa logaritmo en base e(logaritmo natural), la unidad será el nat y cuando la basees 10, la unidad se denomina Hartley o decit.Desde el punto de vista práctico una empresa le cobra a uno por el tiempo en que setarda en transmitir un mensaje, la información en un mensaje depende entonces del mínimotiempo para transmitirlo, esto implica que los mensajes menos probables se tomarán mas tiempoen transmitirse. Si tomamos como ejemplo la transmisión de letras de nuestro alfabeto,debiésemos asignar menos bits a la letra “a” (ocurre frecuentemente) que a la letra “x” (ocurreraras veces).Mostraremos ahora que el tiempo para transmitir un mensaje es proporcional a log(1/P)
Tasa de Información:
Si una fuente genera k mensajes por segundo, entonces la tasa de información, en bits por segundo si es logaritmo en base 2, será R=kH.Ejemplo 1(tomado del Taub & Schilling):Una señal analógica, de ancho de banda B, es muestreada a frecuencia de Nyquist (2B) ycuantificada con 4 niveles (M=4) independientes. Suponga que los 4 niveles ocurren con lassiguientes probabilidades P(N1)=P(N2)=1/8 y P(N3)=P(N4)=3/8. Determine la tasa deinformación de esta fuente.Primero se calcula H=p(N1)log(1/ p(N1))+ p(N2)log(1/ p(N2))+ p(N3)log(1/ p(N3))+ p(N4)log(1/ p(N4))=1.8 bitsEntonces la tasa de información seráR=2B*H=3.6 B bits/seg.Observe que si los niveles de cuantificación fuesen igualmente probables entonces H=2 bit yR=4B bits/segundo lo cual es mejor.Ejemplo 2:Supongamos dos mensajes posibles (0 y 1) equiprobables. Requeriríamos 1 solo bit paraenviarlosSupongamos 4 mensajes (00, 01, 10 y 11) equiprobables. Requeriríamos 2 bits paraenviarlosEn este último caso se tardaría el doble de tiempo que en el primer caso en enviar 1mensaje y tiene dos veces mas información.Si tenemos n mensajes probables, requeriríamos log
2
n gitos binarios paratransmitirlos.En este caso la probabilidad de cada mensaje es 1/nLa información contenida en un mensaje con probabilidad P es proporcional a log 1/P es decir 
 
I=k log
2
nSi se toma k=1I= log
2
(1/P) bits (
bi
nary uni
ts o bi
nary digi
ts
)= log
2
n bitsResultado al que ya habíamos llegado antes intuitivamente.La interpretación de esto es que hacen falta I bits para codificar los mensajes.Ejemplo:Supongamos una fuente que emite 4 posibles mensajesm1; P(m1)=0.5; m2; P(m2)=0.3; m3; P(m3)=0.15; m4; P(m4)=0.05EntoncesI(m1)=log
2
(1/P(m1))=3.32log
10
(1/P(m1))=0.99I(m2)=log
2
(1/P(m2))=3.32log
10
(1/P(m2))=1.73I(m3)=log
2
(1/P(m3))=3.32log
10
(1/P(m3))=2.73I(m4)=log
2
(1/P(m4))=3.32log
10
(1/P(m4))=4.31Si llegasen estos 4 mensajes uno tras otro(m1m2m3m4), asumiendo independencia, lainformación total de este nuevo mensaje sería igual a 9.76 bits. Si todos fuesen equiprobablesP(m1)= P(m2)= P(m3)= P(m4)=1/4, la información de uno de los mensajes sería 2 bits, númeronecesario para representarlo. Para 4 seguido daría 8 bits.Ejercicio: Compare la cantidad de información de una imagen de 8 niveles de grises de 500 pixels x 500 pixels con la de 1000 palabras, asumiendo un vocabulario de 100000 palabrasigualmente probables.
Entropía:
Llamaremos entropía H a la cantidad de informacn promedio por mensaje.Consideremos una fuente de información de n símbolos, sin memoria, es decir donde cadamensaje mi con probabilidad de ocurrencia Pi no tiene ninguna relación con los mensajesanteriormente enviados.La información contenida en cada mensaje mi seráI= log
2
(1/P
i
) bitsSabemos que la información promedio de la fuente será la sumatoria de las informaciones decada mensaje multiplicada por su probabilidad. Así:
inii
 P  I  H 
=
=
1
y la unidad de la entropía es bitssustituyendo la expresión anteriormente obtenida de Ii
)(log)/1(log
2121
iniiinii
 P  P  P  H 
==
==
Entonces podemos decir que la entropía de una fuente es una medida de las probabilidades de los mensajes.Si la fuente tiene una distribución de probabilidades que genera la ximaincertidumbre (todos los mensajes son equiprobables), ésta será una fuente de máxima entropía.Ejemplo: n mensajes equiprobables (P=1/n) daría una entropía igual aH= log
2
nLa información es una medida de la incertidumbre o expectativa de un mensaje y también esigual al mínimo número de bits requeridos para codificarloLa entropía es una medida de la incertidumbre
 promedio
(por mensaje) y también representa elnúmero de bits requeridos en promedio para codificar un mensaje de esa fuente.
))(/1(log)()(
21
inii
m P m P m H 
=
=
Esto es una función de una variable aleatoria m
i

Activity (75)

You've already reviewed this. Edit your review.
1 hundred reads
1 thousand reads
Rolando Torres liked this
Néstor Lopez liked this
Rapc Pomac liked this
Norma Mendoza liked this
Soni Manzana Xp liked this
Javier Quintero liked this

You're Reading a Free Preview

Download
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->