Professional Documents
Culture Documents
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
Indice
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
Indice
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Urna con 9 bolas negras y 1 bola blanca. Se efectuan extracciones sin reemplazamiento Se saca una bola blanca. Este suceso proporciona una ya que la incertidumbre sobre la siguiente alta informacion, desaparece extraccion que proporciona Se saca una bola negra. La informacion ya que la incertidumbre acerca este suceso es pequena, se mantiene de la siguiente extraccion
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
como medida de reduccion de la Cantidad de informacion incertidumbre Al lanzar un dado si nos dicen que ha salido:
informacion (reduce mas la un numero menor que 2, mas incertidumbre) que si nos dicen que ha salido un numero multiplo de 2
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
X variable aleatoria con posibles valores x1 , . . . xn y probabilidades asociadas p(x1 ), . . . , p(xn ) I (xi ) = log2 p(xi )
Si p(xi ) Si p(xi ) 1 I (xi ) 0 I (xi ) 0 +
Cantidad de informacion
Divergencia de KullbackLeibler
Indice
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
X variable aleatoria discreta con posibles valores x1 , . . . xn y probabilidades asociadas p(x1 ), . . . , p(xn ) asociada a X , con posibles I (X ) variable aleatoria cantidad de informacion valores I (x1 ), . . . I (xn ) y probabilidades asociadas p(x1 ), . . . , p(xn ) Se dene la entrop a de Shannon (1948), H (X ), de una variable aletoria discreta X como la esperanza matematica de la variable aleatoria asociada I (X ) H (X ) = E (I (X )) =
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
Se verica: 0 H (X ) log2 n H (X ) = 0 xi con p(xi ) = 1 Si X es variable aleatoria uniforme discreta, es decir 1 para todo i = 1, . . . , n, entonces P (X = xi ) = n H (X ) = log2 n
Cantidad de informacion
Divergencia de KullbackLeibler
X v.a. con x1 , . . . , xn y p(x1 ), . . . , p(xn ) Y v.a. con y1 , . . . , ym y p(y1 ), . . . , p(ym ) (X , Y ) v.a. bidimensional con (x1 , y1 ), . . . , (x1 , ym ), . . . , (xn , y1 ), . . . , (xn , ym ) y p(x1 , y1 ), . . . , p(x1 , ym ), . . . , p(xn , y1 ), . . . , p(xn , ym ) X |Y = yj v.a. condicionada con p(x1 |yj ), . . . , p(xn |yj ) Entrop a de la v.a. bidimensional conjunta (X , Y ) m H (X , Y ) = n i =1 j =1 p (xi , yj ) log2 p (xi , yj ) Entrop a de la v.a. X condicionada al valor Y = yj H (X |Y = yj ) = n i =1 p (xi |yj ) log2 p (xi |yj ) Entrop a de la v.a. X condicionada a la v.a. Y n H (X | Y ) = m j =1 p (yj )H (X |Y = yj ) = i =1
P P P
P P
m j =1
Cantidad de informacion
Divergencia de KullbackLeibler
n i =1 n i =1
m j =1 p (xi , yj ) log2 p (yj |xi ) p(xi ,yj ) m j =1 p (xi , yj ) log2 p(xi ) m j =1 p (xi , yj ) log2 p (xi , yj )
n n i =1 p (xi ) log2 p (xi ) i =1 n m p ( x , y ) log p ( xi ) i j 2 i =1 j =1 n i =1 p (xi ) log2 p (xi ) n i =1 p (xi ) log2 p (xi ) n i =1
= H (X , Y )
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
Indice
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
Divergencia de KullbackLeibler
Medir la distancia entre dos distribuciones de probabilidad una de las cuales actua como referencia denidas sobre la misma variable aleatoria X
n
DK L (p, q ) =
i =1
p(xi ) log
p(xi ) q (xi )
Se verica que:
DK L (p, q ) 0 DK L (p, q ) = 0 p(xi ) = q (xi ); i = 1, . . . , n
Cantidad de informacion
Divergencia de KullbackLeibler
Indice
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler
mutua La cantidad de informacion entre dos v.a. X , Y mide la en la incertidumbre en X cuando se conoce el valor reduccion de Y I (X , Y ) = H (X ) H (X |Y )
Cantidad de informacion
Divergencia de KullbackLeibler
I (X , Y ) = H (X ) H (X |Y ) = 1 0,4509 = 0,5491
Cantidad de informacion
Divergencia de KullbackLeibler
I (X , Y ) = H (X ) H (X | Y ) =
n i =1 i
P p(x ) log p(x ) + P P p(x , y ) log p(x |y ) P p(x ) log p(x ) + P P p(x , y ) log p(x , y ) = P P p(x , y ) log p(y ) P P p(x , y ) log p(x , y ) = P P p(x , y )[log p(x ) + log p(y )] P P p(x , y )[log p(x , y ) (log p(x ) + log p(y ))] = P P p(x , y ) log =
2 i n i =1 m j =1 i j 2 i j n i i =1 n m i =1 j =1 m j =1 m j =1 m j =1 2 i n i =1 m j =1 i j 2 i j i j 2 j n i =1 n i =1 n i =1 i j 2 i j i j 2 i 2 j i j 2 i j 2 i 2 j n i =1 m j =1 i j p(xi ,yj ) 2 p(xi )p(yj )
Cantidad de informacion
Divergencia de KullbackLeibler
Cantidad de informacion
Divergencia de KullbackLeibler