EJERCICIOS SOBRE TEORÍA DE LA

INFORMACIÓN Y CODIFICACIÓN
Universidad Nacional de Loja - CIEYT
Loja, Ecuador

1. Tema:
Primera tarea sobre Ejercicios de Teoría de la Información

2. Objetivo:
 Leer, estudiar y desarrollar ejercicios sobre la temática correspondiente a la primera parte del ciclo
de tres en total, guiados en los capítulos 1, 2 del libro de Roberto Togneri y Capítulo 1 y 4 del libro
de Thomas Cover.

3. Desarrollo:
EJERCICIOS DE PROBABILIDADES
1. Sea S={s1,s2,s3} un simple espacio con distribución de probabilidad P dados por P(s1) =
0.2, P(s2) = 0.3, P(s3) = 0.5.
Sea f una función definida en S por f(s1) = 5, f(s2) = -2, f(s3) = 1. ¿Cuál es el valor esperado
de f ?

S={s1,s2,s3}
Si Pi f
S1 0.2 5
S2 0.3 -2
S3 0.5 1

𝑵

𝒇 = ∑ 𝑷(𝒔𝒊 ) 𝒇(𝒔𝒊 )
𝒊=𝟏

3

𝑓 = ∑ 𝑃(𝑠𝑖 ) 𝑓(𝑠𝑖 )
𝑖=1

𝑓 = 𝑃(𝑠1 )𝑓(𝑠1 ) + 𝑃(𝑠2 )𝑓(𝑠2 ) + 𝑃(𝑠3 )𝑓(𝑠3 )

𝑓 = (0.2)(5) + (0.3)(−2) + (0.5)(1)

𝒇 = 𝟎. 𝟗

2. Dado 𝑺 = {𝑺𝟏 , 𝑺𝟐 } es un espacio muestral con probabilidad de distribución 𝑷 dado por 𝑷
(𝑺𝟏 ) = 𝟎. 𝟕; 𝑷(𝑺𝟐 ) = 𝟎. 𝟑. Sea 𝒇 la función de 𝑺 definida en 𝑹𝟐 dada por:

𝒇(𝑺𝟏 ) = (𝟐𝟑)

Y

𝒇(𝑺𝟐 ) = (𝟓𝟒)

¿Cuál es el valor esperado de 𝒇?
Solución:

𝑁

𝑓(𝑠) = ∑ 𝑃(𝑆𝑖 ) ∗ 𝑓(𝑆𝑗 )
𝑖=1

Entonces: 𝑓(𝑠) = (0.7)(2) + (0.7)(3) + (0.3)(5) + (0.3)(−4) = 3.8

3. Sea S={S1, S2, S3, S4}, un espacio muestral con una distribución de probabilidad dada
por:
P(S1)=0.5
P(S2)=0.25
P(S3)=0.125
P(S4)=0.125
Existe16 posibles eventos que pueden formar a partir de los elementos de S, calcular la
probabilidad y la combinación de estos eventos.
Solución:
Como existe 16 eventos, la combinación queda de la siguiente manera:
S1
S1 S2
S3
S4
S1
S2 S2
S3
S S4
S1
S3 S2
S3
S4
S1
S4 S2

S3
S4
Resolviendo estas combinaciones, los resultados observamos en la siguiente tabla:

Y\X S1 =1/2 S2 =1/4 S3 =1/8 S4 =1/8
S1 =1/2 1/4 1/8 1/16 1/6
S2 =1/4 1/8 1/16 1/32 1/32
S3 =1/8 1/16 1/32 1/64 1/64
S4 =1/8 1/16 1/32 1/64 1/64

EJERCICIOS DE ENTROPÍA
1. El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso en el
que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que la mitad
de los viajes que parten del bajo se dirigen a cada uno de los otros dos pisos, mientras que si
un viaje comienza en el primer piso, sólo el 25% de las veces finaliza en el segundo. Por último,
si un trayecto comienza en el segundo piso, siempre finaliza en el bajo. Se pide:

a) Calcular la matriz de probabilidades de transición de la cadena

b) Dibujar el grafo asociado

c) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de los
tres pisos?

Para el inciso (a)
𝑃00 𝑃01 𝑃02 0 1/2 1/2
𝑃 = (𝑃10 𝑃11 𝑃12 ) = (3/4 0 1/4)
𝑃20 𝑃21 𝑃22 1 0 0
Para el inciso (b)

1

3/4
1/4
1/2

0 1 2
1/2
Para el apartado (c)

Para este caso lo hacemos encontrando cada uno de los valores dándole como incógnitas
(x,y,z).
1 1
0
2 2
𝑃= 3 1 ∗ (𝑥 𝑦 𝑧)
0
4 4
(1 0 0)
Nuestro sistema de ecuaciones nos quedaría:

𝑥+𝑦+𝑧 = 1 ecu(1)
3
−𝑥 + 4 𝑦 + 𝑧 = 0 ⟹ 4𝑥 − 3𝑦 − 4𝑧 = 0 ecu(2)
1
𝑥 −𝑦 =0 ⟹ 𝑥 − 2𝑦 = 0 ecu(3)
2
1 1
𝑥 + −𝑧 =0 ⟹ 2𝑥 + 4𝑦 − 2𝑧 = 0 ecu(4)
2 4

Desarrollando este sistema de ecuaciones

Tomamos la ecu (1) y ecu(2) y multiplicamos por 4 a la ecu(1) para poder ir eliminando valores
(4) 𝑥+ 𝑦+ 𝑧=1
4𝑥 − 3𝑦 − 4𝑧 = 0
4𝑥 + 4𝑦 + 4𝑧 = 4
4𝑥 − 3𝑦 − 4𝑧 = 0
8𝑥 + 𝑦 = 4 𝑒𝑐𝑢(5)
Luego tomamos la ecu(5) y la ecu(3) y multiplicamos a nuestra ecu(5) por 2 para poder
eliminar el valor de y y así poder encontrar nuestra primer incógnita, para este caso x
(2) 8𝑥 + 𝑦 = 4
𝑥 − 2𝑦 = 0
16𝑥 + 2𝑦 = 8
𝑥 − 2𝑦 = 0
17𝑥 = 8
8
𝑥=
17
Remplazando el valor de x en la ecu(3)
𝑥 − 2𝑦 = 0
2𝑦 = 𝑥
8
2𝑦 =
17
4
𝑦=
17
Y para encontrar nuestro valor de z reemplazamos nuestros valores de x y y en la ecu(1)
𝑥+𝑦+𝑧 =1
8 4
𝑥 =1− −
17 17
5
𝑧=
17
Por lo tanto la probabilidad de que el ascensor esté en cada uno de los 3 pisos a largo plazo
sería:
𝟖
𝒙=
𝟏𝟕
𝟒
𝒚=
𝟏𝟕
𝟓
𝒛=
𝟏𝟕

2. Convertir los siguientes valores de entropías a unidades de bits: (a) 𝑯(𝑷) = 𝟎. 𝟓; (b) 𝑯
(𝑷) = 𝟏. 𝟎; (c) 𝑯(𝑷) = 𝟏. 𝟓; (d) 𝑯(𝑷) = 𝟐. 𝟎; (e) 𝑯(𝑷) = 𝟐. 𝟓; (f) 𝑯(𝑷) = 𝟑. 𝟎.

Solución:

(a) 𝐻𝑟 (𝑃) =
𝐻𝑒 (𝑃)
ln(𝑟)
𝑖𝑛𝑓𝑜𝑟𝑚𝑎𝑐𝑖𝑜𝑛 𝑑𝑒 𝑒𝑛𝑟𝑡𝑟𝑜𝑝𝑖𝑎 𝑑𝑜𝑛𝑑𝑒 𝑟 𝑒𝑠 𝑙𝑎 𝑏𝑎𝑠𝑒 𝑒𝑛 𝑙𝑎 𝑞𝑢𝑒 𝑠𝑒 𝑡𝑟𝑎𝑏𝑎𝑗𝑎.

0.5
𝐻2 (𝑃) = = 0.721 𝑏𝑖𝑡𝑠
ln 2

1.0
(b) 𝐻2 (𝑃) = = 1.44 𝑏𝑖𝑡𝑠
ln 2

1.5
(c) 𝐻2 (𝑃) = ln 2 = 2.16 𝑏𝑖𝑡𝑠

2
(d) 𝐻2 (𝑃) = ln 2 = 2.88 𝑏𝑖𝑡𝑠

2.5
(e) 𝐻2 (𝑃) = ln 2 = 3.606 𝑏𝑖𝑡𝑠

3
(f) 𝐻2 (𝑃) = = 4.32 𝑏𝑖𝑡𝑠
ln 2

3. Dado 𝑺 = {𝒔𝟏 , 𝒔𝟐 } y 𝑻 = {𝒕𝟏 , 𝒕𝟐 , 𝒕𝟑 } siendo P una función de distribución de
probabilidad conjunta SXT, dado por 𝑷(𝒔𝟏 , 𝒕𝟏 ) = 𝟎. 𝟓, 𝑷(𝒔𝟏 , 𝒕𝟐 ) = 𝟎. 𝟐𝟓, 𝑷(𝒔𝟏 , 𝒕𝟑 ) = 𝟎
. 𝟏𝟐𝟓, 𝑷(𝒔𝟐 , 𝒕𝟏 ) = 𝟎. 𝟎𝟔𝟐𝟓, 𝑷(𝒔𝟐 , 𝒕𝟐 ) = 𝟎. 𝟎𝟑𝟏𝟐𝟓, 𝑷(𝒔𝟐 , 𝒕𝟑 ) = 𝟎. 𝟎𝟑𝟏𝟐𝟓. Calcular las
probabilidades de las distribuciones marginales 𝑷𝑺 𝒚 𝑷𝑻 y las entropías 𝑯(𝑷), 𝑯(𝑷𝑺 ) y 𝑯
(𝑷𝑻 ). También las distribución de probabilidad condicional 𝑷𝑺/𝑻 𝒚 𝑷𝑻/𝑺 y sus entropías 𝑯
(𝑷𝑺/𝑻 ) 𝒚 𝑯(𝑷𝑻/𝑺 ).

Solución:
1 1 1
(2 4 8 ) 𝑚𝑎𝑡𝑟𝑖𝑧 𝑑𝑒 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 𝑑𝑒 𝑑𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑐𝑖𝑜𝑛 𝑐𝑜𝑛𝑗𝑢𝑛𝑡𝑎
1 1 1
16 32 32
𝑁

𝑃𝑆 (𝑠𝑖 ) = ∑ 𝑃(𝑠𝑖 , 𝑡𝑗 ) 𝑐𝑎𝑙𝑐𝑢𝑙𝑜 𝑑𝑒 𝑙𝑎𝑠 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒𝑠 𝑚𝑎𝑟𝑔𝑖𝑛𝑎𝑙𝑒𝑠
𝐽=1

543 𝑏𝑖𝑡𝑠 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 8 8 8 8 𝑖=1 𝑁 9 9 9 9 5 5 𝐻(𝑇) = − ∑ 𝑃𝑖 log 2 𝑃𝑖 = − log 2 − log 2 − log 2 = 1. 𝑡𝑗 ) 𝑖=1 1 1 1 1 1 1 1 1 2 1 = − log 2 − log 2 − log 2 − log 2 − log 2 2 2 4 4 8 8 16 16 32 32 = 1.9375 𝑏𝑖𝑡𝑠 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 𝑁 7 7 1 1 𝐻(𝑆) = − ∑ 𝑃𝑖 log 2 𝑃𝑖 = − log 2 − log 2 = 0. 𝑡𝑗 ) log 2 𝑃(𝑠𝑖 . 𝑇)𝑐𝑜𝑛𝑑𝑖𝑐𝑖𝑜𝑛𝑑𝑒 𝑖𝑔𝑢𝑎𝑙𝑑𝑎𝑑 . 𝑠2 ) = = 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎𝑠 4 7/8 7 1/8 4 𝐻(𝑆/𝑇) = 𝐻(𝑆. 𝑠1 ) = = . 𝑃(𝑆1 /𝑡3 ) = = . 𝑡𝑖 ) 𝑃(𝑆𝑖 /𝑡𝑗 ) = = 𝑀 𝑐𝑎𝑙𝑐𝑢𝑙𝑜 𝑑𝑒 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒𝑠 𝑐𝑜𝑛𝑑𝑖𝑐𝑖𝑜𝑛𝑎𝑙𝑒𝑠 𝑃𝑇 (𝑡𝑗 ) ∑𝑖=1 𝑃(𝑠𝑖 . 𝑃(𝑆1 /𝑡2 ) = = .400 𝑏𝑖𝑡𝑠 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 16 16 32 32 32 32 𝑖=1 𝑃(𝑠𝑖 . . 𝑠1 ) = = . 𝑃(𝑡1 . 𝐻(𝑃) = 𝐻(𝑆. 𝑡𝑗 ) = + + = 16 32 32 8 𝐽=1 3 1 1 9 𝑃𝑇 (𝑡1 ) = ∑ 𝑃(𝑠𝑖 . 𝑇) − 𝐻(𝑇) 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑐𝑜𝑛𝑑𝑖𝑐𝑖𝑜𝑛𝑎𝑙 𝑒𝑛 𝑓𝑢𝑛𝑐𝑖𝑜𝑛 𝑑𝑒 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑐𝑜𝑛𝑗𝑢𝑛𝑡𝑎. 𝑠2 ) = 7/8 7 1/8 2 7/8 7 1/8 1 1/8 1 1/32 1 = . 𝑡1 ) = + = 2 16 16 𝑖=1 3 1 1 9 𝑃𝑇 (𝑡2 ) = ∑ 𝑃(𝑠𝑖 . 𝑡2 ) = + = 4 32 32 𝑖=1 3 1 1 5 𝑃𝑇 (𝑡3 ) = ∑ 𝑃(𝑠𝑖 . . 𝑡𝑗 ) 𝑃(𝑠𝑖 . 𝑡3 ) = + = 8 32 32 𝑖=1 7 1 9 9 5 𝑃𝑆 = ( . 2 1 1 1 7 𝑃𝑆 (𝑠1 ) = ∑ 𝑃(𝑠1 . 𝑃(𝑡3 . ) 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 8 8 16 32 32 𝑁 𝐻(𝑃) = − ∑ 𝑃(𝑠𝑖 . 𝑃(𝑆2 /𝑡1 ) = = . 𝑡𝑗 ) = + + = 2 4 8 8 𝐽=1 2 1 1 1 1 𝑃𝑆 (𝑠2 ) = ∑ 𝑃(𝑠2 . 𝑃(𝑆2 /𝑡2 ) = 9/16 9 9/16 9 9/32 9 9/32 1 1/8 4 1/32 1 = . 𝑠1 ) = = . 𝑃(𝑡3 . 𝑠2 ) = = . 𝑃(𝑆2 /𝑡3 ) = = 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 9 5/32 5 5/32 5 1/2 4 1/16 1 1/4 2 1/32 𝑃(𝑡1 . 𝑃(𝑡2 . ) 𝑃𝑇 = ( . 𝑡𝑗 ) 1/2 8 1/16 1 1/14 8 1/32 𝑃(𝑆1 /𝑡1 ) = = . 𝑃(𝑡2 .

15-0.05 𝑝⟨𝑦2 |𝑥3 ⟩ = = 0.1 𝟎. H (x.05log 0. 𝟎𝟓 0. y).0.1 𝟎. 𝟏𝟓 𝟒 0 0 0.35.05 H(X)=2.4log0.1log0.25 0 0 0 𝟎. p(Y=4) =0.4.05log0.35 0.15log0. p(X=2) =0.15.25 𝑝⟨𝑥1 |𝑦1 ⟩ = 𝑝(𝑥1 .25-0.25.714 0. H (x| y). p(Y=3) =0.0.9375 − 0.20 0.1 0. 𝟎𝟓 0.543 = 1. 𝟒 𝑿=𝟑 0 0.5log0.35 0. H (x). p(X=4) =0.0.1 0.3 0 0 𝟎.15.35 0.25 0 0 0 𝟎. 𝐲) 𝐥𝐨𝐠 𝐩(𝐗 = 𝐢) = ∑ 𝐩(𝐗 = 𝐢) 𝐥𝐨𝐠 𝒑 (𝐗 = 𝐢) 𝐢 𝐣 𝐣 H(X)=-0.35 𝑖 0. 𝟏𝟓 𝟒 0 0 0.15-0.05 H(X)=2. 𝟏𝟓 𝟓( 0 0 0.0.9375 − 1.1log0.0.15. p(X=5) =0. 𝟒 𝑿=𝟑 0 0. 𝑦1 ) ∑(𝑝𝑖1 ) = = 0.400 = 0.06 Y= 1 2 3 4 𝟏 0. 𝟐𝟓 𝟐 0.4– 0.25 0.25log0.35 0.05 0.4-0.1 𝐇(𝐗) = − ∑ ∑ 𝐩(𝐱. H (y).333 0. Calcular las siguientes entropías. 𝟏𝟓 𝟓( 0 0 0.25 𝑝⟨𝑦1 |𝑥1 ⟩ = =1 0.4.05 0.15. p(Y=2) =0.1log0.3log0.1 0 𝟎.15log0. 𝟐𝟓 𝟐 0. p(X=3) =0.05log0.1 0.3 0 0 𝟎.05 0 ) 𝟎. H (y| x) p(X=1) =0.066 Equivalentemente: H(X)=-0.25.05 0 ) 𝟎.15.15.05 0.15 Y= 1 2 3 4 𝟏 0.1 .35.1 0 𝟎.05 0.25log0.9345𝑏𝑖𝑡𝑠 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 4.5375𝑏𝑖𝑡𝑠 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 𝐻(𝑇/𝑆) = 𝐻(𝑃) − 𝐻(𝑆) = 1.0.20.20 0.05 p(Y=1) =0. 𝐻(𝑆/𝑇) = 𝐻(𝑃) − 𝐻(𝑇) = 1.

𝟏𝟓 𝟒 0 0 0.2log0.1 0.809 bits Equivalente: H(X/Y) = 0.2-0.35H(0.1log0.1log0.20-0.35-0.05log0. 𝑦3 ) log 𝑝(𝑥5 /𝑦3 ) − p(𝑥3 .1𝐻(0.1/0.1/0.2-0.05log0.35-0.05/0.35log0.05log0.3/0.1 H(Y)=1.1 H(X/Y) = − ∑ ∑ p(X = i.3 0 0 𝟎.1-0.25 0 0 0 𝟎.3log0.856 Equivalentemente: H(Y)=-0. 0. Y = j) log p(x⁄y) = ∑ p(Y = j)H(X/Y = j) i j j H(X/Y) = −p(𝑥1 .35.1 H(X)=1.25log0.05log0.1-0.05 0. 𝟏𝟓 𝟓( 0 0 0.665 bits Y= 1 2 3 4 𝟏 0. 𝟐𝟓 𝟐 0.05 H(X.35H(0.25-0. 𝐲) 𝐥𝐨𝐠 𝐩(𝐱.2.1 𝟎.2-0.2.35log0.05 0. 𝑦1 ) log 𝑝(𝑥2 /𝑦1 ) − p(𝑥2 . 0.35-0.1log0.35) + 0. 𝐲) 𝐥𝐨𝐠 𝐩(𝐘 = 𝐣) = ∑ 𝐩(𝐘 = 𝐣) 𝐥𝐨𝐠 𝒑 (𝐘 = 𝐣) 𝐢 𝐣 𝐣 H(Y)=-0.3-0. 𝐇(𝐘) = − ∑ ∑ 𝐩(𝐱. 0.1log0.05/0. 𝐲) 𝐢 𝐣 H(X.1-0. 𝐘) = − ∑ ∑ 𝐩(𝐱.2𝐻(0.05/0.35 .1 0 𝟎.25log0. 𝑦2 ) log 𝑝(𝑥3 /𝑦2 ) − p(𝑥4 . 𝟎𝟓 0. 𝑦3 ) log 𝑝(𝑥3 /𝑦3 ) H(X/Y) = 0.2) + 0. 0.1) 𝐇(𝐗/𝐘) = 𝟎. 𝟖𝟎𝟗 𝐛𝐢𝐭𝐬 Explicación detallada: H(X/Y) = − ∑ ∑ p(X = i.35-0. 𝟒 𝑿=𝟑 0 0.25/0.35 0.1log0.1/0. 𝑦4 ) log 𝑝(𝑥4 /𝑦4 ) − p(𝑥5 .1log0.35-0.3log0.05 0 ) 𝟎.35) + 0.856 𝐇(𝐗.Y)=-0.Y)=2.20 0.05log0. 𝑦2 ) log 𝑝(𝑥2 /𝑦2 ) − p(𝑥3 .05-0. 𝑦1 ) log 𝑝(𝑥1 /𝑦1 ) − p(𝑥2 .35-0.05-0.1log0.35 0.05log0. Y = j) log p(x/y) = ∑ p(X = i)H(Y/X = i) i j j Según la tabla tenemos: . 𝑦3 ) log 𝑝(𝑥4 /𝑦3 ) − p(𝑥4 .

35 p(𝑥2 . 𝑦2 ) = 0.25 p(𝑥1 /𝑦1 ) = ( )= = 0.20 p(𝑥4 . 𝑦4 ) 0. 𝑦1 ) 0. 𝑦3 ) = 0.05 ∑ 𝑝(𝑦1 ) = 0.1 p(𝑥4 /𝑦4 ) = ( )= =1 ∑ 𝑝(𝑦4 ) 0. 𝑦3 ) = 0. 𝑦3 ) = 0.71 ∑ 𝑝(𝑦1 ) 0.05 p(𝑥4 /𝑦3 ) = ( )= = 0.05 = 0. 𝑦3 ) 0. p(𝑥1 . 𝑦2 ) 0.3 p(𝑥2 /𝑦2 ) = ( )= = 0.1 p(𝑥4 .1 = 0.1 = 0. 𝑦1 ) = 0.3 p(𝑥3 .2 p(𝑥5 . 𝑦3 ) 0.25 ∑ 𝑝(𝑦3 ) 0.35 ∑ 𝑝(𝑦2 ) = 0.20 ∑ 𝑝(𝑦4 ) = 0.1 p(𝑥2 /𝑦1 ) = ( )= = 0.1 SI p(𝑥1 .35 ∑ 𝑝(𝑦3 ) = 0. 𝑦4 ) = 0.25 p(𝑥2 .1 p(𝑥3 . 𝑦1 ) 0.35 p(𝑥3 .857 ∑ 𝑝(𝑦2 ) 0.35 p(𝑥2 .35 p(𝑥4 .05 = 0.285 ∑ 𝑝(𝑦1 ) 0.3 + 0.1 p(𝑥3 /𝑦3 ) = ( )= = 0. 𝑦3 ) 0.05 p(𝑥5 /𝑦3 ) = ( )= = 0. 𝑦2 ) 0.143 ∑ 𝑝(𝑦2 ) 0.25 ∑ 𝑝(𝑦3 ) 0.1 p(𝑥5 .05 p(𝑥3 /𝑦2 ) = ( )= = 0.20 Por lo tanto: .1 + 0.05 p(𝑥4 . 𝑦1 ) = 0.1 p(𝑥2 . 𝑦2 ) = 0.05 + 0.25 + 0.5 ∑ 𝑝(𝑦3 ) 0.05 p(𝑥3 .

857) − 0.537 + 0. 𝑦3 ) log 𝑝(𝑥3 /𝑦3 ) H(X⁄Y) = −0. 0. 𝑦1 ) log 𝑝(𝑥1 /𝑦1 ) − p(𝑥2 .0.05 0.1𝐻(0.25)) = 1.2𝐻(0.35) + 0.2 ∗ 1.71.1) H(X/Y) = 0.8 bits Y= 1 2 3 4 𝟏 0.14) = − ∑ 0.2.857. 𝑦2 ) log 𝑝(𝑥3 /𝑦2 ) − p(𝑥4 .2857) = − ∑ 0.866 𝐻(0.25 ) − 0.3 0 0 𝟎.81 + 0.71 ∗ log(0.1 ∗ log 𝑝(0.35H(0.35 ∗ 0. 𝟏𝟓 𝟓( 0 0 0.5 𝐻(0.2.5) + (− ∑ 0.1 ∗ 0) 𝐇(𝐗|𝐘) = 0.1𝐻(1) Entonces : 𝐇(𝒑𝒊 ) = − ∑ 𝒑𝒊 ∗ 𝐥𝐨𝐠(𝒑𝒊 ) H(1 ) = − ∑ 1 ∗ log(1) = 0 H(0. 0.25)) + (− ∑ 0.5 ∗ log(0.2857)) = 0.71 .1 𝟎.71) − 0. 0.66 ∗ log(0.05 0 ) 𝟎.2857) + 0.537 𝐇(𝐗|𝐘) = 0.1/0.1 ∗ log 𝑝(1) − 0. 𝑦3 ) log 𝑝(𝑥5 /𝑦3 ) − p(𝑥3 .5 + 0.25 = − ∑ 0.285) − 0.25.1/0. 𝟒 𝑿=𝟑 0 0.14) + 0.25 0 0 0 𝟎.25/0. 0.35H(0.25 ∗ log 𝑝(0. 𝟖 𝒃𝒊𝒕𝒔 MÉTODO EQUIVALENTE: H(X/Y) = 0.2) + 0. 𝑦3 ) log 𝑝(𝑥4 /𝑦3 ) − p(𝑥4 .5. 𝑦1 ) log 𝑝(𝑥2 /𝑦1 ) − p(𝑥2 . 0.35H(0.66)) = 0.3/0.857.35. 0. 𝟐𝟓 𝟐 0. H(X/Y) = −p(𝑥1 .05/0. 0.05/0.25. 0. 𝟏𝟓 𝟒 0 0 0.2857 ∗ log(0. 0.35 .1/0. 𝟎𝟓 .05 ∗ log 𝑝(0.143) − 0.05 ∗ log 𝑝(0.05 ∗ log 𝑝(0.1 ∗ log 𝑝(0.3 ∗ log 𝑝( 0.1 0 𝟎. 0.5.5) H(X⁄Y) = −(𝐇(𝐗⁄𝐘) = 𝟎.71) + (− ∑ 0.25 ∗ log(0.05 0. 𝑦4 ) log 𝑝(𝑥4 /𝑦4 ) − p(𝑥5 .25 ∗ log(0.25 ) − 0.1 0.35) + 0. 0.2𝐻(0.25) + 0.35H(0.05/0. 𝑦2 ) log 𝑝(𝑥2 /𝑦2 ) − p(𝑥3 .33) + (− ∑ 0.35 ∗ 0.33 ∗ log(0.

15 .05𝐻(0. 𝐘 = 𝐣) 𝐥𝐨𝐠 𝐩(𝐱/𝐲) = ∑ 𝐩(𝐗 = 𝐢)𝐇(𝐘/𝐗 = 𝐢) 𝐢 𝐣 𝐣 Según la tabla tenemos : p(𝑦1 . 𝑥3 ) log 𝑝(𝑦3 /𝑥3 ) − p(𝑦3 .15.1 p(𝑦3 .1 𝐇(𝐘|𝐗) = − ∑ ∑ 𝐩(𝐗 = 𝐢. 0.05 p(𝑦4 .3 = 0.1/0. 𝑥4 ) = 0. 𝑥2 ) = 0.3 p(𝑦2 .25 p(𝑦1 . 𝑥4 ) log 𝑝(𝑦3 /𝑥4 ) − p(𝑦4 .25/0.4 ∑ 𝑝(𝑥3 ) = 0. 0.35 0. 𝑥4 ) = 0. 𝑥2 ) log 𝑝(𝑦2 /𝑥2 ) − p(𝑦2 .15𝐻(0. 𝑥4 ) log 𝑝(𝑦4 /𝑥4 ) − p(𝑦3 .15𝐻(0.05 + 0. 𝑥3 ) log 𝑝(𝑦2 /𝑥3 ) − p(𝑦3 .6 bits Explicación detallada: 𝐇(𝐘|𝐗) = − ∑ ∑ 𝐩(𝐗 = 𝐢. 𝑥3 ) = 0.1 + 0. 𝑥2 ) = 0.25 ) + 0.15) + 0.1/0.05 ∑ 𝑝(𝑥1 ) = 0.1 p(𝑦2 . 𝑥5 ) log 𝑝(𝑦3 /𝑥5 ) 𝐇(𝐗/𝐘) = 0.05/0.1/0.25H(0.35 0.4.25 ∑ 𝑝(𝑥2 ) = 0.1 p(𝑦3 . 𝑥5 ) = 0. 𝑥1 ) = 0. 𝑥2 ) log 𝑝(𝑦1 /𝑥2 ) − p(𝑦2 . 𝐘 = 𝐣) 𝐥𝐨𝐠 𝐩(𝐱/𝐲) = ∑ 𝐩(𝐗 = 𝐢)𝐇(𝐘/𝐗 = 𝐢) 𝐢 𝐣 𝐣 𝐇(𝐘|𝐗) = −p(𝑦1 . 𝑥3 ) = 0. 𝑥1 ) log 𝑝(𝑦1 /𝑥1 ) − p(𝑦1 .15.05 p(𝑦3 .20 0.4H(0.4) + 0. 0.05/0.3/0.1 = 0.05) 𝐇(𝐗|𝐘) = 0.15) + 0. 0.6 bits Equivalente: 𝐇(𝐘|𝐗) = 0.05/0.

33) − 0. 𝑥1 ) log 𝑝(𝑦1 |𝑥1 ) − p(𝑦1 .75 ∑ 𝑝(𝑥2 ) 0. 𝑥3 ) 0.1/0.15) + 0.33 ∑ 𝑝(𝑥3 ) 0.15𝐻(0. 0.25 ) + 0.66) − 0.05 ∗ log 𝑝(0. 0. 𝑥4 ) log 𝑝(𝑦3 /𝑥4 ) − p(𝑦4 .05𝐻(0.15) + 0. 𝑥3 ) log 𝑝(𝑦3 /𝑥3 ) − p(𝑦3 .4 p(𝑦2 .05 SI p(𝑦1 .15 Por lo tanto: 𝐇(𝐘/𝐗) = −p(𝑦1 .05 ∗ log 𝑝(1) 𝐇(𝐘⁄𝐗) = 𝟎.15.33 ∑ 𝑝(𝑥4 ) 0.1 = 0.66 ∑ 𝑝(𝑥3 ) 0.05) .25) − 0.1/0.05 p(𝑦2 /𝑥3 ) = ( )= = 0.1/0.25H(0.3 p(𝑦2 /𝑥2 ) = ( )= = 0. 0. 𝑥4 ) 0.05/0. 𝑥2 ) 0. 𝑥2 ) 0.3 ∗ log 𝑝(0.4H(0. 𝑥3 ) log 𝑝(𝑦2 /𝑥3 ) − p(𝑦3 .05 p(𝑦3 /𝑥4 ) = ( )= = 0.15 p(𝑦3 .25 p(𝑦1 .1 p(𝑦1 /𝑥2 ) = ( )= = 0.25 p(𝑦1 /𝑥1 ) = ( )= =1 ∑ 𝑝(𝑥1 ) 0. 𝑥2 ) log 𝑝(𝑦2 /𝑥2 ) − p(𝑦2 .1 p(𝑦4 /𝑥4 ) = ( )= = 0. 𝑥2 ) log 𝑝(𝑦1 /𝑥2 ) − p(𝑦2 .66) − 0.1 ∗ log 𝑝(0.1 p(𝑦3 /𝑥3 ) = ( )= = 0.05 p(𝑦4 /𝑥4 ) = ( )= =1 ∑ 𝑝(𝑥4 ) 0.33) − 0.15𝐻(0.4 p(𝑦2 .05 ∗ log 𝑝(0.66 ∑ 𝑝(𝑥4 ) 0.15.25 ∗ log 𝑝(1) − 0.4) + 0.15 ∑ 𝑝(𝑥5 ) = 0.1 ∗ log 𝑝(0.3/0.15 p(𝑦3 .05/0. 𝑥4 ) 0.05/0.25 ∑ 𝑝(𝑥2 ) 0.4. 𝑥4 ) log 𝑝(𝑦4 /𝑥4 ) − p(𝑦3 .1 ∗ log 𝑝(0. 𝑥3 ) 0. 𝑥1 ) 0.05 + 0.15 p(𝑦3 .05 p(𝑦4 . 𝑥5 ) 0.25/0. ∑ 𝑝(𝑥4 ) = 0. 𝑥5 ) log 𝑝(𝑦3 /𝑥5 ) 𝐇(𝐘⁄𝐗) = −0.75) − 0. 𝟔 𝒃𝒊𝒕𝒔 MÉTODO EQUIVALENTE: 𝐇(𝐘/𝐗) = 0.

0. y dado q(0)=1-s.4H(0. Dado X = {0. q(1)=s.25.s) * 0 + s * 0 =0 Cómo se indicó anteriormente si p y q son iguales D (p||q) = D (q||p) = 0. 0. Mientras.4 ∗ 0. 0. 𝐇(𝐘/𝐗) = 0.66 ∗ log(0.33.25 ∗ log(0.92) + (0.75 ∗ log(0.2075 bit. 0. .25H(1 ) + 0.33) + (− ∑ 0. 1−𝑠 𝑠 D (q||p) = (1-s) * log 1−𝑟 + s * log 𝑟 3/4 1/4 D (q||p) = (3/4) * log 1/2 + (1/4) * log 1/2 = 0.33 ∗ log(0. 1−𝑟 𝑟 D (p||q) = (1 .05𝐻(1) Entonces : 𝐇(𝒑𝒊 ) = − ∑ 𝒑𝒊 ∗ 𝐥𝐨𝐠(𝒑𝒊 ) H(1 ) = − ∑ 1 ∗ log(1) = 0 H(0. a) Si r=s.66) = − ∑ 0.33. 1} y considerando dos distribuciones p y q en X.66)) = 0.15𝐻(0.25. 1−𝑠 𝑠 D (p||q) = (1-s) * log + s * log 1−𝑠 𝑠 = (1 .66) + 0.15 ∗ 0.25 ∗ 0) + (0.1884 bit.15 ∗ 0.75) = − ∑ 0.92) + +(0. dado p(0)=1-r.33.81) + (0.75) + 0.81 𝐻(0.25) + (− ∑ 0. s=1/4. 0.92 𝐇(𝒀 | 𝑿) = (0.05 ∗ 0) 𝐇(𝐘 | 𝐗) = 0. b) Si r = ½.66) + 0.15𝐻(0.6 bits 5. p(1)=r.75)) = 0.r) * log 1−𝑠 + r * log 𝑠 1/2 1/2 D (p||q) = (1/2) * log 3/4 + (½) * log 1/4 D (p||q) = 0.

utilizaremos: 𝑝(𝑥. . ] 4 4 4 4 𝑖=1 Podemos ver que las variables son dependientes porque: 𝑝(𝑥. .𝑦) 𝑝(𝑥/𝑦) = 𝑝(𝑦) 𝑝(𝑥. 6. . Calcular las Entropías: 1 1 1 1 1 1 1 1 1 1 𝐻(𝑋) = 𝐻 ( .75 𝑏𝑖𝑡𝑠/𝑠𝑖𝑚𝑏𝑜𝑙𝑜 1 1 1 1 1 1 H (Y )  H  . . . Y) que pueden asumir 4 valores distintos cada una: 1 1 1 1 8 16 32 32  1 1 1 1   p( x. Dadas dos variables aleatorias discretas (X. Calcular las probabilidades marginal 4 1 1 1 1 𝑃(𝑥) = ∑ 𝑃(𝑋. Calcular la probabilidades condicionales Para hallar las densidades condicionales (serán matrices). . . 𝑦) ≠ 𝑝(𝑥)𝑝(𝑦) b.𝑦) 𝑝(𝑦/𝑥) = 𝑝(𝑥) 1 1 1 1 1 1 1 1 4 2 4 8 4 4 4 8 1 1 1 1 1 1  1 1    8  p( y | x)   1 p( x | y)   4 8 2 4 4 2 8  1 1 1 1 1 1 1 8 4 4 2 2 4 4 1 1   1 0 0 0   0 0 0 2  c. y )  16 8 32 32  1 1 1 1 16 16 16 16  1   0 0 0 4  a.   4 log 2   2 bits 4 4 4 4 4 4 4 4 H ( X | Y )   p( yi )  H ( X | yi ) .Se puede notar que D (p||q) ≠ D (q||p) cuando p(x) ≠ p(y). ) = − ( ) 𝑙𝑜𝑔2 ( ) − ( ) 𝑙𝑜𝑔2 ( ) − (2) ( ) 𝑙𝑜𝑔2 ( ) 2 4 8 8 2 2 4 4 8 8 = 1. 𝑌𝑖 ) = [ . H (Y | X )   p ( x j )  H (Y | x j ) i 1 j 1 . ] 2 4 8 8 𝑖=1 4 1 1 1 1 𝑃(𝑦) = ∑ 𝑃(𝑋. 𝑌𝑖 ) = [ . .

Y )   log 2  log 2  log 2  log 2  bits  3. Y )  2   bits 4 8 8 8 7. 𝟔. a. 𝟑. 𝟒. Sea una fuente (S) cuya salida es el mcm de la salida de las fuentes anteriores 𝑺 = 𝒎𝒄𝒎 (𝑺𝟏 . 𝟒} y 𝑺𝟐 = {𝟐. Calcular la información mutua 𝑰(𝑺. trabajando sobre las columnas de p( y | x) y promediando logramos: 13 H(X | Y)  bits 8 La Información Mutua será: 3 I ( X . 𝑺𝟐 ).Y )  H ( X )  H ( X | Y )  H (Y )  H (Y | X )  bits 8 La Entropía Conjunta podemos calcularla directamente de la matriz p( x. 𝑺𝟏 ) Solución: 𝑆1 𝑆2 𝑆 1 2 2 2 2 2 3 2 6 4 2 4 1 4 4 2 4 4 3 4 12 4 4 4 .Las H ( X | yi ) y las H (Y | x j ) son respectivamente las entropías de las filas de p( x | y) y las entropías de las columnas de p( y | x) : 1 1 1 1 2 H ( X | y  1)  7 / 4 4 8 8 1 1 1 1   H ( X | y  2)  7 / 4 p( x | y)   4 2 8 8 1 1 1 1 H ( X | y  3)  2 4 4 4 1  1 0 0 0  H ( X | y  4)  0 1 7 1 7 1 1 11 H (X | Y)       2   0  bits 4 4 4 4 4 4 8 A la misma manera. Calcule la entropía de la fuente 𝑯(𝑺) b. 𝟖} dos fuentes equiprobables independientes. y ) : 2 1 1 1 6 1 4 1 27 H ( X . 𝟐.37 bits 8 8 4 4 16 16 32 32 8 O a través de una de las formulas: 7 3 14  16  3 27 H ( X . Y )  H ( X )  H (Y )  I ( X . Sean 𝑺𝟏 = {𝟏.

la probabilidad de enviar un 1.4.5 Entonces para calcular la entropía de la fuente sacamos la longitud media de cada entropía y aplicamos la regla de la cadena para calcular la información mutua: 𝐻(𝑆/𝑆_1 ) = (1/2) ∗ (2) + (1/2) ∗ 1. 𝟒𝟓𝟑 𝒃𝒊𝒕𝒔/𝒔𝒊𝒎𝒃𝒐𝒍𝒐 b.6. 𝑆1 ) = 𝐻(𝑆) − 𝐻(𝑆/𝑆1 ) 𝑰(𝑺.5 𝐻(𝑆/4) = 1.12. 𝑃(8) = .24} Cuyas probabilidades de ocurrencia son: 1 1 1 3 1 1 𝑃(2) = . 𝑏𝑗 )𝑙𝑜𝑔2 (𝑃(𝑎𝑖 . 𝟕𝟎𝟑 𝒃𝒊𝒕𝒔/𝒔𝒊𝒎𝒃𝒐𝒍𝒐 8. H.8. 𝑃(12) = . Sea p.5 = 1.4534 − 1. Para una fuente binaria: (a) Mostrar que la entropía.75 𝑏𝑖𝑡𝑠/𝑠𝑖𝑚𝑏𝑜𝑙𝑜 Aplicando la regla de la cadena tenemos: 𝐼(𝑆. 𝑃(24) = 8 4 4 16 8 16 a. Entonces la entropía de la fuente es: 𝑟 𝐻(𝑆) = − ∑ 𝑃(𝑎𝑖 . Solución: a. 𝑆1 ) se puede calcular directamente la entropía de la fuente conjunta 𝐻(𝑆/𝑆1 ) para todos los valores de 𝑆1 . 1 6 6 2 6 6 3 6 6 4 6 12 1 8 8 2 8 8 3 8 24 4 8 8 Entonces la fuente S queda conformada por los siguientes elementos: 𝑆 = {2. (b) Hallar el valor máximo de la entropía. es máxima cuando la probabilidad de enviar un 1 es igual a la probabilidad de enviar un 0. 𝑃(6) = . Entonces 1-p será la probabilidad de enviar un 0: . Para calcular la 𝐼(𝑆. 𝑃(4) = . 𝑏𝑗 )) 𝑖=1 𝐻(𝑆) = 𝟐.75 = 𝟎. esto es: 𝐻(𝑆/1) = 2 𝐻(𝑆/2) = 2 𝐻(𝑆/3) = 1. 𝑺𝟏 ) = 2.

La entropía es: 1 𝐻(𝑝) = ∑ 𝑃(𝑥𝑖)𝑙𝑜𝑔2 𝑃(𝑥𝑖) 1 1 𝐻(𝑝) = 𝑝. . log 2 𝑃(0. P(s3)=0. 𝑙𝑜𝑔2 𝑝 =0 Eliminando el logaritmo: 1−𝑝 = 20 𝑝 1−𝑝 =1 𝑝 Despejando p.5.25). 𝑙𝑜𝑔2 𝑝 1−𝑝 Para verificar la máxima entropía derivamos con respecto a p. Son equiprobables. 1 1 𝐻 ( ) = 2.25 𝑁 𝐻(𝑆) = − ∑ 𝑃(𝑆𝑖).5 𝐻(𝑆) = 1.5).125. P(s4)=0.5). 𝑙𝑜𝑔2 2 = 1 𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙𝑜 2 2 9. la entropía es. P(s1)=0. P(s2)=0.25) − (0. P(s2)=0. Calcular la entropía de cada una de las siguientes distribuciones de probabilidad de S.25. 1 𝑝2 1 1−𝑝 𝐻 ′ (𝑝) = 𝑙𝑜𝑔2 + 2 − 𝑙𝑜𝑔2 + (1 − 𝑝) 𝑝 𝑝 1−𝑝 (1 − 𝑝)2 1−𝑝 𝐻′(𝑝) = 𝑙𝑜𝑔2 𝑝 En el máximo debe cumplir que 𝐻′(𝑝) = 0 Entonces 1−𝑝 . P(s3)=0.…….25) 𝐻(𝑆) = 0. N=4. s2.5 𝑏𝑖𝑡𝑠 b.5) − (0. log 2 𝑃(0. 𝑙𝑜𝑔2 + (1 − 𝑝). 1 𝑝= 2 b. log 2 𝑃(𝑆𝑖) 𝑖=1 𝐻(𝑆) = − (0.5 + 0.125 . N=3.5.25. log 2 𝑃(0. Sea S = {s1.sN} un espacio muestral de N. P(s1)=0.5 + 0. a.

log 2 𝑃(𝑆𝑖) 𝑖=1 𝐻(𝑆) = − (0.5. (0.25. (0.125 𝑁 𝐻(𝑆) = − ∑ 𝑃(𝑆𝑖).5) − 4.25) + 0.5).375 + 0.5) + 2(0.5 + 0. log 2 𝑃(0. P(s2)=0.H(X|XY. Calcule: P(X). P(Y|X). (0. (0.875 𝑏𝑖𝑡𝑠 10. I(X. log 2 𝑃(0.25. log 2 𝑃(0.0625 𝑁 𝐻(𝑆) = − ∑ 𝑃(𝑆𝑖).125).Y).5 + 0.25) − (0. P(s2)=0.H(X). log 2 𝑃(𝑆𝑖) 𝑖=1 𝐻(𝑆) = −3. P(s5)=0. log 2 𝑃(0.25. P(s5)=0. Ejercicio Dadas dos variables aleatorias discretas X. P(s1)=0.125.Y y su matriz de transición.25.25) − 2.25). 𝑁 𝐻(𝑆) = − ∑ 𝑃(𝑆𝑖). P(s4)=0. log 2 𝑃(0.375) 𝐻(𝑆) = 1. log 2 𝑃(0. log 2 𝑃(0.5) − 𝐻(𝑆) = 2(0.5.5 𝐻(𝑆) = 1.75 𝑏𝑖𝑡𝑠 c.125).125).25). log 2 𝑃(0. P(s3)=0. P(s3)=0.125.0625.375) 𝐻(𝑆) = 2 𝑏𝑖𝑡𝑠 d. P(s2)=0. P(s5)=0.125) 𝐻(𝑆) = 0.125) 𝐻(𝑆) = 3(0.125. P(s4)=0. (0. P(s1)=0. N=5 . log 2 𝑃(0. P(Y).125).25). log 2 𝑃(𝑆𝑖) 𝑖=1 𝐻(𝑆) = − (0.25 𝑏𝑖𝑡𝑠 e.5) − (0.5) − (0. P(s3)=0.5). log 2 𝑃(0.0625).P(X.125) 𝐻(𝑆) = 0. log 2 𝑃(0. log 2 𝑃(𝑆𝑖) 𝑖=1 𝐻(𝑆) = − 2.5 + 4.125. P(s1)=0.H(Y).125 𝑁 𝐻(𝑆) = − ∑ 𝑃(𝑆𝑖). P(s4)=0.125) − (0.25) − 2.5 + 2(0.125.375) 𝐻(𝑆) = 2. (0.Y) . N=5. N=5.5).

y ) p( x | y )  . y )  Sumar las Columnas!=  .  i 1  2 4 8 8 1 1 1 1 4 p ( y )   p ( x j . 1    1/ 4  2 4 8 8 1 1 1 1 2 4 8 8 1 1 1 1   p( x | y )   4 2 8 8 1 1 1 1 4 4 4 4  1 0 0 0  Calculo de las Entropías: . p( y | x)  p( y ) p( x) = p( X | Y  1)  1/ 8. y )  2  8  4  6  16  4  32  3  0  1 i 1 j 1 i Con la conjunta. yi )  Sumar las Filas!=  .1/ 32   1 . y )  16 8 32 32  1 1 1 1 16 16 16 16  1   0 0 0 4  Se puede ver claramente que la suma de todos los valores da 1: 4 4 1 1 1 1  p( x. . 1 . . .  j 1 4 4 4 4 Para hallar las densidades condicionales. 1 . podemos calcular las marginales: 4 1 1 1 1 p( x)   p( x. usamos: p ( x. 1 1 1 1 8 16 32 32  1 1 1 1   p( x. .1/ 32. y ) p ( x.1/16.

H (Y | X )   p ( x j )  H (Y | x j ) i 1 j 1 Las H ( X | yi ) y las H (Y | x j ) son las entropías de las filas de p( x | y) y las entropías de las columnas de p( y | x) : 1 1 1 1 2 H ( X | y  1)  7 / 4 4 8 8 1 1 1 1   H ( X | y  2)  7 / 4 p( x | y)   4 2 8 8 1 1 1 1 H ( X | y  3)  2 4 4 4 1  1 0 0 0  H ( X | y  4)  0 La entropía condicional será finalmente el promedio de todas: 1 7 1 7 1 1 11 H (X | Y)       2   0  bits 4 4 4 4 4 4 8 La Información Mutua será: 3 I ( X . .    log 2  log 2  log 2  log 2  bits  1.   4 log 2   2 bits 4 4 4 4 4 4 Las fórmulas de las entropías condicionales son: 4 4 H ( X | Y )   p( yi )  H ( X | yi ) . . Y )  H ( X )  H (Y )  I ( X .Y )  2   bits =3. 1 1 1 1 1 1 1 1 1 1 1 1 7 H ( X )  H  . Y )   log 2  log 2  log 2  log 2  bits  3. .75 bits  2 4 8 8 2 2 4 4 8 8 8 8 4 1 1 1 1 1 1 H (Y )  H  .Y )  H ( X )  H ( X | Y )  H (Y )  H (Y | X )  bits 8 La Entropía Conjunta podemos calcularla directamente de la matriz p( x. . y ) : 2 1 1 1 6 1 4 1 27 H ( X .37 bits 4 8 8 8 .37 bits 8 8 4 4 16 16 32 32 8 O a través de una de las formulas: 7 3 14  16  3 27 H ( X .

85 0.25 Sacando nuestro sistema de ecuaciones nos quedarían las siguientes: 𝑤1 + 𝑤2 = 1 ecu(1) 0.85 0.75 [𝑤 𝑤2 ] 𝐼𝐼 = [ ]∗ 1 0.85𝑤2 = 0 0.85) 𝑤1 + 𝑤2 = 1 −0.75𝑤1 − 0.85𝑤2 = 0 0 1.85𝑤1 + 0.75 𝐼𝐼 = [ ] 0.25 Multiplicamos por nuestras estacionarias así: 0.25𝑤2 = 𝑤2 ecu(3) Realizando las operaciones necesarias en cada uno de nuestras ecuaciones nos quedarían: 𝑤1 + 𝑤2 = 1 ecu(1) −0.15 0.DISTRIBUCIÓN ESTACIONARIA 1.15 0.85 −0.15𝑤1 + 0.85) a la ecu(1) (0.85𝑤1 + 0.85𝑤1 + 0.85𝑤2 = 𝑤1 ecu(2) 0.85𝑤2 = 0 ecu(2) 0. Encuentre la distribución estacionaria de la fuente de Markov cuya matriz de transición es: 0.85 𝑤2 = 1/2 Reemplazando el valor de 𝑤2 en la ecu(1) 𝑤1 + 𝑤2 = 1 𝑤1 = 1 − 𝑤2 𝑤1 = 1 − 1/2 𝑤1 = 1/2 Por lo tanto: 𝒘𝟏 = 𝟏/𝟐 𝒘𝟐 = 𝟏/𝟐 .75𝑤1 + 0.75𝑤2 = 0 ecu(3) Tomando las dos primeras ecuaciones y multiplicando por (0.7𝑤2 = 0.85 𝑤1 + 0.85𝑤2 = 0.

1𝑧 = 𝑦 ⟹ 20𝑥 − 25𝑦 + 10𝑧 = 0 0.75𝑦 + 0.z).7𝑥 + 0.1𝑧 = 𝑥 ⟹ −3𝑥 + 2𝑦 + 𝑧 = 0 0. De ambas expresiones se obtiene el siguiente sistema: 𝑥+𝑦+𝑧 =1 0.1𝑥 + 0.y.? SOLUCIÓN: Tres estados {G.P=(x.05) 𝐼 0. y de que el consumidor compre H y z la del que consumidor compre I.2𝑦 + 0. (6) . El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados.y. G H I 𝐺 0.1 0.7 0. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos.x+y+z=1.1 𝐺 (0.2 0.8𝑧 = 𝑧 ⟹ 10𝑥 + 5𝑦 − 20𝑧 = 0 Tomando la ecu(1) y ecu(2) (3) 𝑥+𝑦+𝑧 = 1 −3𝑥 + 2𝑦 + 𝑧 = 0 3𝑥 + 3𝑦 + 3𝑧 = 3 −3𝑥 + 2𝑦 + 𝑧 = 0 5𝑦 + 4𝑧 = 3 𝑒𝑐𝑢(5) Tomando la ecu(3) y ecu(4) 20𝑥 − 25𝑦 + 10𝑧 = 0 (−2) 10𝑥 + 5𝑦 − 20𝑧 = 0 20𝑥 − 25𝑦 + 10𝑧 = 0 −20𝑥 − 10𝑦 + 40𝑧 = 0 −35𝑦 + 50𝑧 = 0 𝑒𝑐𝑢(6) Tomando ecuaciones (5).05𝑦 + 0. La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado.2𝑥 + 0.z).2 0.2. H.75 0.8 ¿Cuáles son los porcentajes de mercado en el estado estable para las dos cervecerías grandes. I} El problema consiste en resolver el sistema formado por las ecuaciones siguientes: (x.1 0. siendo x la probabilidad de que el consumidor compre G. Están preocupados en especial por su mayor competidor (Heineken). los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas.

𝟒 b. 𝝈𝟐 → 𝝈𝟏 del estado 0 y 𝑷(𝟏/𝟐) = 𝟎. 𝝈𝟑 } con las siguientes cinco transiciones: a. ¿Es posible que esta fuente genere una salida que incluya la sub-secuencia 000?. 𝝈𝟑 → 𝝈𝟏 del estado 1 y 𝑷(𝟏/𝟑) = 𝟏 Escriba la matriz de transición para esta fuente. 𝟏} y un conjunto de estados ∑ = {𝝈𝟏 . 𝝈𝟐 . 𝝈𝟏 → 𝝈𝟑 del estado 0 y 𝑷(𝟑/𝟏) = 𝟎. ¿Es posible que esta fuente genere una salida que incluya la sub-secuencia 111? Solución: . (z) en ecu(1) para encontrar el valor de x 𝑥+𝑦+𝑧 =1 𝑥 = 1−𝑦−𝑧 10 7 𝑥 =1− − 26 26 17 𝑥 =1− 26 𝟗 𝒙= 𝟐𝟔 3. 𝟖 d. 𝟔 c. 𝟐 e. 𝝈𝟏 → 𝝈𝟐 del estado 1 y 𝑷(𝟐/𝟏) = 𝟎. Dibuje un diagrama que represente la fuente de Markov con alfabeto {𝟎. 𝝈𝟐 → 𝝈𝟑 del estado 1 y 𝑷(𝟑/𝟐) = 𝟎. (7) 5𝑦 + 4𝑧 = 3 −35𝑦 − 30𝑧 = 0 35𝑦 + 28𝑧 = 21 −35𝑦 + 50𝑧 = 0 78𝑧 = 21 21 𝑧 = 78 𝟕 𝒛= 𝟐𝟔 Reemplazando el valor de z en ecu(5) 5𝑦 + 4𝑧 = 3 5𝑦 = 3 − 4𝑧 7 5𝑦 = 3 − 4 ( ) 26 50 5𝑦 = 26 𝟏𝟎 𝒚= 𝟐𝟔 Y por último reemplazando los valores de (y).

𝑊2 .4 𝑊1 + 𝑊 =1 25 1 25 → 𝑊1 = 52 Reemplazando en (5) y (6): .4 0 0} * [𝑊2 ] 0. formándose un sistema de ecuaciones que será resuelto por cualquier método de solución de ecuaciones lineales. Esto es 0 0.8𝑊2 + 𝑊3 = 𝑊1 (1) 0.6 0.4 0 0} 0.4𝑊1 = 𝑊2 (2) 0.2 0 Para encontrar las probabilidades iniciales: Tenemos que las probabilidades estacionarias se denominan como 𝑊1 .2𝑊2 = 𝑊3 (3) 𝑊1 + 𝑊2 + 𝑊3 = 1 (4) 17 (1) → 𝑊3 = 𝑊1 (5) 25 (2) → 𝑊2 = 0. 𝑊3 y se las toma de la matriz de transición en cada columna donde suman las probabilidades 1.2 0 𝑊3 0.6𝑊1 + 0. Para encontrar las probabilidades estacionarias se multiplica esta matriz por el vector de transición.La Matriz de transición es: 0 0.4 𝑊1 (6) Reemplazando en (4) 17 → 𝑊1 + 0.8 1 ∏ = {0.6 0.8 1 𝑊1 ∏ = {0.

𝑊3 son las probabilidades conjuntas y estacionarias de la matriz de Markov.5 2 0. 𝑊 0 .3 0.7 0.3 0.475 t =3.45 t =2.35 0.8 3 0. 𝑊 4 = П4 .5 Calcule W t para t = 1.7 0. 𝑊 𝑡 = П𝑡 .525 𝑊 = [ ] 0.5 𝑊2 = [ ] .6 0.5.7 0.[ ] 0. 5 → 𝑊2 = 26 17 → 𝑊3 = 52 Las probabilidades 𝑊1 .55 𝑊 = [ ] 0.5 𝑊3 = [ ] .475 0.4.[ ] 0.5 3 0.[ ] 0.5 𝑊2 = [ ] .5 𝑊1 = [ ] . 𝑊 0 0. 𝑊 0 0.3 0.8 1 0. 𝑊2 .5 𝑊0 = [ ] 0. 𝑊 3 = П3 .525 0.8 2 0.2 0.4 0.2 y la distribución de probabilidad inicial: 0. Considere una fuente de Markov con matriz de transición: 0.7 0.5 2 0.5 1 0.65 0.  La fuente no puede generar un estado que incluya la sub-secuencia (000) debido a que la probabilidad inicial de generar un símbolo 0 es cero.2 0.  La fuente puede generar una salida que incluya la sub-secuencia (111) con probabilidad de 1.5375 𝑊 = [ ] 0.8 П= [ ] 0.4625 t =4.5 𝑊3 = [ ] .[ ] 0. 𝑊 0 = 𝑊 𝑡 = П𝑡 .3. 𝑊 0 t =1.4 0.[ ] 0.2.2 0. 𝑊 2 = П3 . 𝑊 0 0. 𝑊 1 = П1 .3 0.5 3 0.6 0. 4.

888 𝑏𝑖𝑡𝑠 . 𝟕) 𝟎.4𝐶 = 𝐶 (3) 𝐴 + 𝐵 + 𝐶 = 1 (4) Solucionando dicho sistema de ecuaciones tenemos las siguientes probabilidades de estado de nuestra matriz de Markov.5 𝑊 = [ ] .[ ] 0.46875 t =5.481 0.8 5 0.3𝐶 = 𝐵 (2) 0𝐴 + 0.6 log 2 0.8 4 0.3 0.5 4 0.4 − 0.3.5 4 0.3 log 2 0. 𝟎.4𝐴 + 0.7 0. 𝑊 5 = П5 .6𝐴 + 0.4656 EJERCICIOS FUENTE AFÍN 1) Dada la siguiente matriz de una fuente de Markov encontrar la entropía de la misma y de la fuente affin y comprobar dichas respuestas. 0. 𝑃(𝐶) = .3𝐶 = 𝐴 (1) 0.5 𝑊5 = [ ] .3 log 2 0.4 log 2 0.3 log 2 0.6. 0. 0.53125 𝑊 = [ ] 0.7𝐵 + 0.3) = −0.2 0.0𝐵 + 0.3) = −0.[ ] 0.7 − 0.7 log 2 0.4) = −0.5625 0.3 − 0.4375 0.518 0.3 0.3𝐵 + 0.5343 𝑊 = [ ] 0. 𝟑 𝟎.9632 𝑏𝑖𝑠𝑡 𝐻(0.4.7.6 − 0.5 5 0.5 0. 0.5 𝑊4 = [ ] . 𝑃(𝐵) = 73 73 73 Para calcular la entropía de la fuente se tiene que: 𝐻(𝑆) = ∑𝑁 𝑗=1 𝑃(𝑒𝑠𝑡𝑎𝑑𝑜𝑠) 𝐻(𝑃𝑖𝑗 ) 𝐻(0.3 = 0.3 = 1.5 0.2 0. 𝟑 𝟎.4 log 2 0. Escriba aquí la ecuación. 𝟔 𝟎.4 = 0.7 0. 𝑊 0 0. 𝟑 𝟎.5 𝑊4 = [ ] .55 5 0.[ ] 0. 𝟒 𝟎 ( 𝟎 𝟎. 21 24 28 𝑃(𝐴) = . 0.45 0.5 5 0. 𝟒 Solución: Primero se debe hallar las probabilidades de los estados para esto se debe formar unas ecuaciones basándonos en la matriz dada: 0.[ ] 0.571 𝑏𝑖𝑡𝑠 𝐻(0.

A y B. tres décimos dicen la verdad. ¿Cuál es máximo valor que puede tomar I? y ¿cuál es el porcentaje de personas en el grupo A para las cuales el máximo ocurre? V=los que dicen a verdad = 3/10 M=Los que mientes = 5/10 N=los que no dicen nada = 2/10 𝑃(𝐴) = 𝑝 𝑃(𝐵) = 1 − 𝑝 5 3 𝑃(𝑉) = 𝑃(𝑉|𝐴)𝑃(𝐴) + 𝑃(𝑉|𝐵)𝑃(𝐵) = 𝑃(𝐴) + 𝑃(𝐵) 10 10 5 2 𝑃(𝑉) = 𝑃(𝐴) + (1 − 𝑃(𝐴)) 10 10 𝟑 𝟐 𝟑 𝟐 𝑷(𝑽) = − 𝑷(𝑨) = − 𝒑 𝟏𝟎 𝟏𝟎 𝟏𝟎 𝟏𝟎 3 5 𝑃(𝑀) = 𝑃(𝑀|𝐴)𝑃(𝐴) + 𝑃(𝑀|𝐵)𝑃(𝐵) = 𝑃(𝐴) + 𝑃(𝐵) 10 10 3 5 𝑃(𝑀) = 𝑃(𝐴) + (1 − 𝑃(𝐴)) 10 10 𝟓 𝟐 𝟏 𝟐 𝑷(𝑴) = − 𝑷(𝑨) = − 𝒑 𝟏𝟎 𝟏𝟎 𝟐 𝟏𝟎 . Sea p la probabilidad de que una persona seleccionada al azar pertenezca al grupo A.9632 + ∗ 1. la mitad mienten y dos décimos no responden. Los habitantes de cierto caserío están divididos en dos grupos. tres décimos mienten y un quinto de ellos se niegan a responder.58 𝑏𝑖𝑡𝑠/𝑠𝑖𝑚 73 73 73 73 73 73 EJERCICIOS INFORMACIÓN MUTUA 1.888 = 1.571 + 0.14 𝑏𝑖𝑡𝑠/𝑠𝑖𝑚 73 73 73 Para calcular la entropía de la fuente affin se toma las probabilidades estacionarias como se muestra a continuación: 𝑁 𝐻(𝑆̅ ) = − ∑ 𝑃(𝑒𝑠𝑡𝑎𝑐𝑖𝑜𝑛𝑎𝑟𝑖𝑎) log 2 𝑃(𝑒𝑠𝑡𝑎𝑐𝑖𝑜𝑛𝑎𝑟𝑖𝑎) 𝑗=1 21 21 24 24 28 28 𝐻(𝑆̅ ) = − log 2 − log 2 − log 2 = 1. miente o no responde) una vez que se conoce a qué grupo pertenece. 21 24 28 𝐻(𝑆) = ∗ 0. En el grupo B. En el grupo A la mitad de las personas dicen la verdad. Sea I = I(p) la información transmitida acerca del estatus de una persona (si dice la verdad.

𝑌) = 𝐻(𝑌) − 𝐻(𝑌|𝑋) 3 2 3 2 1 2 1 2 2 2 𝐼(𝑌|𝑋) = − [ + 𝑝] log 2 [ + 𝑝] − [ − 𝑝] log 2 [ − 𝑝] − log 2 [ ] − 1.49 10 10 10 10 2 10 2 10 10 10 Se deriva con respecto a p y se obtiene 𝜕 2 3 2 2 2 1 2 2 𝐼(𝑌|𝑋) = − log 2 [ + 𝑝] − + log 2 [ − 𝑝] + 𝜕𝑝 10 10 10 10 10 2 10 10 Se iguala a cero y se obtiene el valor del p para el que la información es máxima 2 1 2 1 2 10 2 2 − 10 𝑝 2 − 10 𝑝 1 log 2 =0⟹( ) =1⟹𝑝= 10 3 2 3 2 2 10 + 10 𝑝 10 + 10 𝑝 Reemplazando el valor de p en la ecuación de I(Y|X) . . . Y ser ‘a la variable aleatoria que toma los valores V. M y N según la respuesta del individuo y X será la variable aleatoria que toma valores A y B según el grupo al que pertenezca. ) 2 10 10 1 3 10 2 𝐻(𝑌|𝑋) = ( log 2 2 + log 2 + . . Entonces: 3 2 3 2 1 2 1 2 2 2 𝐻(𝑌) = − [ + 𝑝] log 2 [ + 𝑝] − [ − 𝑝] log 2 [ − 𝑝] − log 2 10 10 10 10 2 10 2 10 10 10 y 𝐻(𝑌|𝑋) = 𝑃(𝐴)𝐻(𝑌|𝑋 = 𝐴) + 𝑃(𝐵)𝐻(𝑌|𝑋 = 𝐵) 𝐻(𝑌|𝑋) = 𝑝𝐻(𝑌|𝑋 = 𝐴) + (1 − 𝑝)𝐻(𝑌|𝑋 = 𝐵) 1 3 2 1 3 2 𝐻(𝑌|𝑋) = 𝑝𝐻3 ( . ) 2 10 10 2 10 10 1 3 2 𝐻(𝑌|𝑋) = 𝐻3 ( . 𝟒𝟗 Finalmente se puede calcular 𝐼(𝑋. . ) 2 10 10 2 10 10 1 3 2 1 3 2 𝐻(𝑌|𝑋) = 𝑝𝐻3 ( . ) + (1 − 𝑝)𝐻3 ( . log 2 5) 2 10 3 10 𝑯(𝒀|𝑿) = 𝟏. . 2 2 𝑃(𝑁) = 𝑃(𝑁|𝐴)𝑃(𝐴) + 𝑃(𝑁|𝐵)𝑃(𝐵) = 𝑃(𝐴) + 𝑃(𝐵) 10 10 2 2 𝑃(𝑁) = 𝑃(𝐴) + (1 − 𝑃(𝐴)) 10 10 𝟐 𝑷(𝑵) = 𝟏𝟎 Ahora. ) + (1 − 𝑝)𝐻3 ( .

2. Y está definida por la ecuación 2.𝑦) 𝐼(𝑋.49 2 10 2 2 10 2 10 10 4 4 4 4 2 2 𝐼(𝑌|𝑋) = − [ ] log 2 [ ] − [ ] log 2 [ ] − log 2 [ ] − 1.49 10 10 10 10 10 10 Con este valor de p el valor máximo de la información es 𝑰𝒎á𝒙 (𝒀|𝑿) = 𝟎. 𝟐 − 𝟏. 𝟎𝟎𝟎 Las probabilidades de los símbolos individuales son 𝟏 𝟏 𝟏 𝑷(𝑨) = . Y definida como 𝑓𝑋𝑌 (𝑋. 𝟐𝟎𝟎 𝑷(𝑨𝑪) = 𝟎. Calculando las probabilidades de transición nos quedaría de la siguiente manera: 𝑃(𝐴𝐴) 0.47 los eventos que ocurren son mutuamente excluyentes uno del otro pero están en el mismo espacio muestral. 𝟒𝒍𝒐𝒈𝟐 𝟎. Un modelo de 2-gram con un lenguaje {𝑨. miente o no responde. 3. 𝑓𝑋𝑌(𝑥. 𝟎𝟎𝟎 𝑷(𝑨𝑩) = 𝟎. 3 2 1 3 2 1 𝐼(𝑌|𝑋) = − [ + ( )] log 2 [ + ( )] 10 10 2 10 10 2 1 2 1 1 2 1 2 2 − [ − ( )] log 2 [ − ( )] − log 2 [ ] − 1. dentro de una función dada para las variables aleatorias X. 𝟏𝟑𝟑 𝑷(𝑨𝑩) = 𝟎. explique cómo I(X. 𝟎𝟎𝟎 𝑷(𝑨𝑪) = 𝟎. Dibuje un diagrama para representar la fuente y anotar su matriz de transición. 𝟒 − 𝟎.27 𝑥 𝑦 (𝑦) Como nos podemos dar cuenta en la ecuación 2.Y) proporciona una medida de la cantidad de independencia entre X y Y. 𝑪} se da por las probabilidades 𝑷(𝑨𝑨) = 𝟎. 𝟏𝟑𝟑 𝑷(𝑨𝑨) = 𝟎.000 𝑃(𝐴|𝐴) = = =0 𝑃(𝐴) 1 3 . 𝑦) donde 𝑓𝑋 (𝑥) y 𝑓𝑌 (𝑦) son las funciones marginales. 𝟏𝟑𝟑 𝑷(𝑨𝑪) = 𝟎. 𝟒𝒍𝒐𝒈𝟐 𝟎. La información mutua entre variables aleatorias X.47. 𝟒 − 𝟎. 𝑌) = ∫ 𝑓𝑋𝑌(𝑥. 𝑷(𝑪) = 𝟑 𝟑 𝟑 Construir una fuente de Markov (primer orden) a partir de estos modelos. 𝟎𝟑𝟕 Lo cual quiere decir que saber a qué grupo pertenece el individuo no da mucha información sobre si dice la verdad. es decir que se da un evento que ocurra en la variable X para encontrar el evento que ocurre en la variable Y. 𝟒𝟗 = 𝟎. 𝑦) log 2 𝑓 (𝑥)𝑓 Ecuación 4. 𝟐𝟎𝟎 𝑷(𝑨𝑩) = 𝟎. 𝑷(𝑩) = . 𝑩. 𝟐𝟎𝟎 𝑷(𝑨𝑨) = 𝟎. 𝟐𝒍𝒐𝒈𝟐 𝟎.

200 𝑃(𝐶|𝐵) = = = 0.200 𝑃(𝐵|𝐴) = = = 0.4 𝑃(𝐵) 1 3 𝑃(𝐵𝐵) 0. 𝑆2… 𝑆𝑛 } .6 0.4 0 0.000 𝑃(𝐶|𝐶) = = =0 𝑃(𝐶) 1 3 Armando nuestra matriz de transición sería: A B C 𝐴 0 0. 𝑃(𝐴𝐵) 0.133 𝑃(𝐴|𝐵) = = = 0.000 𝑃(𝐵|𝐵) = = =0 𝑃(𝐵) 1 3 𝑃(𝐵𝐶) 0.4 𝑃(𝐶) 1 3 𝑃(𝐶𝐶) 0.133 𝑃(𝐶|𝐴) = = = 0.200 𝑃(𝐴|𝐶) = = = 0.133 𝑃(𝐵|𝐶) = = = 0.6 𝑃(𝐵) 1 3 𝑃(𝐶𝐴) 0. Demostrar que si 𝑴𝒏 es la 𝒏_𝒕𝒉 extensión de una fuente de primer orden de Markov 𝑴 sus entropías están relacionadas por: 𝑯(𝑴𝒏 ) = 𝒏𝑯(𝑴) Tomemos una fuente de markov de primer: 𝑀 = {𝑆1 .4 𝐵 (0.6) 𝐶 0.6 A 0.6 0.6 𝑃(𝐶) 1 3 𝑃(𝐶𝐵) 0.4 0 Y por último nuestro diagrama de estados nos quedaría de la siguiente manera: B 0.4 𝑃(𝐴) 1 3 𝑃(𝐵𝐴) 0.4 C 4.6 𝑃(𝐴) 1 3 𝑃(𝐴𝐶) 0.

− ∑ (𝑆𝑛−1 . debido a que la entropía de la sumatoria es lo mismo que multiplicar por n veces la operación. Solución: I (A. 𝑃𝑛 Tomando la extensión de la fuente: 𝑀𝑛 Tenemos que la entropía de una fuente de Markov de orden n se la puede calcular por medio de la expresión: 𝐻(𝑀𝑛 ) = − ∑𝑀𝑛 ∑𝑀𝑛 𝑃( 𝑆𝑗 . 𝑆𝑚−1 ) log 𝑝(𝑆𝑛−1 /𝑆𝑚−1 ) 𝑀 2𝑛 𝑀2 Podemos calcular el segundo término de la igualdad calculando los (2𝑛 − 𝑛) términos de todos ellos por superposición y nos queda: =− ∑ ( 𝑆𝑗 . 𝑆𝑗2 … 𝑆𝑚 ) Y distribuciones estacionarias: 𝑃1 .83 + . descomponemos el mismo en términos de la suma de n términos hasta (n-1). 𝑃2 … . 𝑆𝑖 ) log 𝑝(𝑆𝑗 /𝑆𝑖 ) = −𝑛 ∑ (𝑆𝑛−1 . Por lo tanto: 𝑯(𝑴𝒏 ) = 𝒏𝑯(𝑴) 4. B). B) = H(A) − H(A/B) I (A.02 bits/simbolo . esto es: 𝑛𝐻(𝑀) Que son las entropías de la extensión de una fuente de markov.19 H(B) = 1. 𝑆𝑖 ) log 𝑝(𝑆𝑗 /𝑆𝑖 ) … … . Dado H(B/A) =0. B) = 0. 𝑆𝑚−1 ) log 𝑝(𝑆𝑛−1 /𝑆𝑚−1 ) 𝑀𝑛 𝑀1 Como se puede ver el primer término de la igualdad es: 𝐻(𝑀𝑛 ) Y el segundo miembro de la igualdad nos queda. esto es: = − ∑ ( 𝑆𝑗 .92 y H(A/B) = 0. 𝑆𝑖 ) log 𝑝(𝑆𝑗 /𝑆𝑖 ) − ∑ (𝑆𝑖 . H(A)= 0.Con probabilidades de transición: 𝑃(𝑆𝑖 / 𝑆𝑗1 . Encontrar H(B).19 bits/simbolo H(B) = H(B/A) + I (A. 𝑆𝑗 ) log 𝑝(𝑆𝑛−2 /𝑆𝑚−2 ) 𝑀 2𝑛−2𝑛−2 𝑀 2−2𝑛−2 Pasamos al primer miembro: ∑ ( 𝑆𝑗 .92 − 73 I (A.83. H(A/B) y I (A. B) H(B) = 0.73. 𝑆𝑖 ) log 𝑝(𝑆𝑗 /𝑆𝑖 ) Operando con el segundo término de la igualdad. B) = 0.

B) H(A. B) ≥ 0. B) = 1. es decir 𝐈(𝐀. H(A. cuando la Variable A=B Es totalmente dependiente tanto A y B Entonces se cumple que. Entonces. Cuando A y B son independientes entre sí. H(A.92 + 1. B) = H(A) = H(B) = I(A.19 H(A. B) H(A/B) = 0 H(B/A) = 0 . I(A.75 bits/simblo 5. B) = Maxima. Es decir. B) = 0.02 − 0. ¿Cuál es el valor máximo de 𝐈(𝐀. A≠B. B) = H(A) + H(B) Información mutua máxima I(A. B) = H(A) + H(B) − I(A. 𝐁) ≥ 𝟎. 𝐁) es 0. B) = 0 H(A) = H(A/B) H(B) = H(B/A) H(A. 𝐁)? Solución: Información mutua mínima I(A. Se estableció que el valor mínimo de 𝐈(𝐀.

𝑌 𝐼(𝑋. 𝑌) = ∑ 𝑃(𝑥𝑖. 2 . 𝑦𝑗) = 𝑃(𝑥𝑖)𝑃(𝑦𝑗) 𝑃(𝑥𝑖/𝑦𝑗) = 𝑃(𝑥𝑖) Reemplazando. Calcule con qué cadencia deben ser oprimidas las mismas para generar un flujo de información de 2 bit/s. 𝐘) = 𝟎 Solución: Por definición la entropía condicional es: 1 𝐻(𝑋/𝑌) = ∑ 𝑃(𝑥𝑖. 𝑦𝑗) 𝑙𝑜𝑔2 𝑃(𝑥𝑖/𝑦𝑗) 𝑋.𝑌 Aplicado las igualdades. Se asume que cada tecla es utilizada en forma equiprobable. aplicando la definición: 𝑃(𝑥𝑖/𝑦𝑗) 𝐼(𝑋.𝑌 Como x e y son independientes cumple que: 𝑃(𝑥𝑖.6. Un teclado numérico tiene los números 0. Para la información mutua. ∑ 𝑃(𝑦𝑗) = 1 𝑦 Entonces. . 1.𝑌 𝐼(𝑋. 𝑌) = ∑ 𝑃(𝑥𝑖) 𝑃(𝑦𝑗) . 𝑌) = ∑ 𝑃(𝑥𝑖) 𝑃(𝑦𝑗) 𝑙𝑜𝑔2 𝑃(𝑥𝑖) 𝑋.0 𝑋. Considerar un canal con la propiedad de que Xi y Yj son estadísticamente independientes para todo i. 1 𝐻(𝑋/𝑌) = ∑ 𝑃(𝑥𝑖) 𝑙𝑜𝑔2 𝑃(𝑥𝑖) 𝑥 𝐻(𝑋/𝑌) = 𝐻(𝑋) Rta. 𝑃(𝑥𝑖) 𝐼(𝑋. Mostrar que: 𝐇(𝐗/𝐘) = 𝐇(𝐗) y 𝐈(𝐗. . 9. 𝑦𝑗) 𝑙𝑜𝑔2 𝑃(𝑥𝑖) 𝑋. j. 1 𝐻(𝑋/𝑌) = ∑ ∑ 𝑃(𝑥𝑖) 𝑃(𝑦𝑗) 𝑙𝑜𝑔2 𝑃(𝑥𝑖) 𝑋 𝑦 1 𝐻(𝑋/𝑌) = ∑ 𝑃(𝑦𝑗) ∑ 𝑃(𝑥𝑖) 𝑙𝑜𝑔2 𝑃(𝑥𝑖) 𝑦 𝑥 Como. 𝑌) = 0 7. .

4.Solución: Ecuación 𝑅 = 𝑟𝐻 donde. De corazones La probabilidad que la carta sea de corazones es: . De un mazo de 52 cartas se elige una al azar. (a) Hallar la información en bits que se tiene cuando se conoce que la carta es:  de corazones  una figura  una figura de corazones (b) Cuanta información se necesita para identificar la carta si. se sabe que es roja. r= es la tasa símbolos R=Tasa de Información R=2 La probabilidad de cada teclado es: 1 𝑃(𝑇) = 10 El espacio muestra es: 𝑆 = {0.9} Calculando la entropía de la fuente: 1 𝐻(𝑆) = ∑ 𝑃(𝑥𝑖)𝑙𝑜𝑔2 𝑃(𝑥𝑖) Como son equiprobables.1. R = rH R r= H 2 r= 3.32 r = 0. Solución: a) . … … … . 1 𝐻(𝑆) = 10 { 𝑙𝑜𝑔2 (10)} 10 𝐻(𝑆) = 3.32𝑏𝑖𝑡𝑠/𝑠𝑖𝑚𝑏𝑜𝑙𝑜 Entonces despejando y reemplazando valores.2.6 𝑠𝑖𝑚𝑏𝑜𝑙𝑜/𝑠𝑒𝑔𝑢𝑛𝑑𝑜 8.3.

13 1 𝑃(𝑐𝑜𝑟𝑎𝑧𝑜𝑛𝑒𝑠) = = 52 4 La información que sea de corazones es: 𝐼(𝑐𝑜𝑟𝑎𝑧𝑜𝑛𝑒𝑠) = 𝑙𝑜𝑔2 4 = 2 𝑏𝑖𝑡𝑠 . 1}. con s = { 0. Una figura La probabilidad que sea una figura es: 12 3 𝑃(𝑓𝑖𝑔𝑢𝑟𝑎) = = 52 13 La información de corazones es: 13 𝐼(𝑓𝑖𝑔𝑢𝑟𝑎) = 𝑙𝑜𝑔2 = 2.7 y un error p= 0. Px(0) = 0.2. Halle H (y| x). H (x| y). X=0 1-p y=0 p .1154 𝑏𝑖𝑡𝑠 3 . información mutua y la py.1154 𝑏𝑖𝑡𝑠 3 b) La información que se tiene al identificar una carta es: 𝐼(𝑢𝑛𝑎𝑐𝑎𝑟𝑡𝑎) = 𝑙𝑜𝑔2 52 𝑏𝑖𝑡𝑠 Como tenemos 26 cartas de color rojo entonces 1 𝑃(𝑟𝑜𝑗𝑎) = 2 𝐼(𝑟𝑜𝑗𝑎) = 𝑙𝑜𝑔2 2 = 1 𝑏𝑖𝑡 La cantidad de información que se requiere: 𝐼(𝑢𝑛𝑎𝑐𝑎𝑟𝑡𝑎) − 𝐼(𝑅𝑜𝑗𝑎) = 𝑙𝑜𝑔2 52 𝑏𝑖𝑡𝑠 − 1 𝐼 = 𝑙𝑜𝑔2 (26) 𝑏𝑖𝑡𝑠 EJERCICIOS CANAL BSC 1. Una figura de corazones La probabilidad que sea una figura de corazones es: 3 𝑃(𝑓𝑖𝑔𝑢𝑟𝑎𝑐𝑜𝑟𝑎𝑧𝑜𝑛𝑒𝑠) = 52 La información de corazones es: 52 𝐼(𝑓𝑖𝑔𝑢𝑟𝑎𝑐𝑜𝑟𝑎𝑧𝑜𝑛𝑒𝑠) = 𝑙𝑜𝑔2 = 4.

56 − 0. 𝑦) = −0.38) PX(1) 0.7) 𝑃 (𝑋.14𝑙𝑜𝑔2 0.38 La distribución conjunta de las varieables aleatorias X y Y quedaría: (0.30 𝑯(𝒙) = 𝟎.7 − 0.24) 0.2)+(0.56 0. 𝒚) = 𝟏. y=1) E R X BSC Y Como tenemos que p(0) = 0.3)(0.7 0.14 0.14 − 0.7 𝑃 (𝑋.8 P(x) = (Px(0) + Px(1)) = (0. 𝟔 𝒃𝒊𝒕𝒔 𝐻(𝑥) = −0. 𝑌) = (0.8) = 0.2 P (X (1) | Y (1)) = 1 – p = 1 .8)(0.2 = 0.56𝑙𝑜𝑔2 0.24𝑙𝑜𝑔2 0.62 PY(1) = (0.3 0.y) ya podemos calcular nuestras entropías 𝐻(𝑥.8 P (X (0) | Y (1)) = 0. 𝑌) = ( ) (0.8)(0.06𝑙𝑜𝑔2 0.2)(0.06 − 0.8 La respuesta de P(y) es : PY(0) = (0.7 por defecto tenemos que p(1)=0.7 + 0.2 = 0.0.7) (0.7)(0.14𝑙𝑜𝑔2 0. X=1 y=1 1-p X(x=0.2) = 0.62 0.30 − 0.38 𝟏 Con nuestra matriz P(x.2 0.3)(0.7 − 0.62 0.2)(0.0.3) = 1 Si nos fijamos en el canal BSC obtenemos lo siguiente: P (X (0) | Y (0)) = 1 – p = 1 .24 𝑯(𝒙.2 P (X (1) | Y (0)) = 0.2 (0.56𝑙𝑜𝑔2 0.3) (0.06𝑙𝑜𝑔2 0.3 para que que nuestro vector de probabilidad inicial nos de en la suma 1 P(x) (Px(0) Px(1)) PY(0) PY(1) P(y) (Py(0) Py(1)) (0.3) PX(0) 0. x=1) Y(y=0.8)+(0.24𝑙𝑜𝑔2 0. 𝟖𝟖 𝒃𝒊𝒕𝒔 .3) 0.8 0.06 0.7)(0.

96 𝑏𝑖𝑡𝑠 𝑯(𝑿 | 𝒀) = 𝟎. 𝒚) − 𝑯(𝒚) 𝐻(𝑋 |𝑌) = 1.56𝑙𝑜𝑔2 0.6 𝑏𝑖𝑡𝑠 − 0. Calcule las probabilidades a priori. La entrada del canal puede asumirse como equiprobable.14𝑙𝑜𝑔2 0. 𝟔𝟓 𝒃𝒊𝒕𝒔 𝑯(𝒀 |𝑿) = 𝑯(𝒙. P(a/b) Solución: Las probabilidades iniciales como son equiprobables tenemos: 𝑃(𝑎 = 0) = 1/2 𝑃(𝑎 = 1) = 1/2 a.88 𝑏𝑖𝑡𝑠 𝑯(𝒀 | 𝑿) = 𝟎. 𝒀) = 𝑯(𝒙) − 𝑯(𝑿 |𝒀) 𝐼(𝑋 .62 − 0. a.38 𝑯(𝒚) = 𝟎.65 𝑏𝑖𝑡𝑠 𝑰(𝑿 . Un canal binario transmite correctamente un 0 (como un 0) dos veces más como transmitir incorrectamente (como un 1) y transmite correctamente un 1 (como un 1) tres veces antes de transmitir incorrectamente (como un 0).38 − 0. Calcule las probabilidades de salida.06𝑙𝑜𝑔2 0. 𝐻(𝑦) = −0. 𝒀) = 𝟎. 𝟕𝟐 𝒃𝒊𝒕𝒔 Finalmente calcularemos la información mutua. 𝑰(𝑿 . La matriz del canal P es: 2/3 1/3 𝑃= [ ] 1/4 3/4 El diagrama del canal es: .6 𝑏𝑖𝑡𝑠 − 0. 𝒚) − 𝑯(𝒙) 𝐻(𝑌 | 𝑋) = 1. 𝟗𝟔 𝒃𝒊𝒕𝒔 𝑯(𝑿 |𝒀) = 𝑯(𝒙.88 𝑏𝑖𝑡𝑠 − 0. Cuál es la matriz del canal P? Dibuje el canal b.24𝑙𝑜𝑔2 0. P(b) c. 𝑌) = 0. 𝟐𝟑 2.62 − 0.

Las probabilidades a priori son: 𝑃(𝑏 = 0/𝑎 = 0) ∗ 𝑃(𝑎 = 0) 𝑃(𝑎 = 0 / 𝑏 = 0) = 𝑃(𝑏 = 0) (2/3) ∗ (1/2) 𝑃(𝑎 = 0 / 𝑏 = 0) = 11/24 𝟖 𝑃(𝑎 = 0 / 𝑏 = 0) = 𝟏𝟏 8 𝟑 𝑃(𝑎 = 1/𝑏 = 0) = 1 − 𝑃(𝑎 = 0 / 𝑏 = 0) = 1 − = 11 𝟏𝟏 𝑃(𝑏 = 1/𝑎 = 1) ∗ 𝑃(𝑎 = 1) 𝑃(𝑎 = 1/ 𝑏 = 1) = 𝑃(𝑏 = 1) (3/4) ∗ (1/2) 𝑃(𝑎 = 0 / 𝑏 = 0) = 13/24 𝟗 𝑃(𝑎 = 0 / 𝑏 = 0) = 𝟏𝟑 9 𝟒 𝑃(𝑎 = 0/𝑏 = 1) = 1 − 𝑃(𝑎 = 1 / 𝑏 = 1) = 1 − = 13 𝟏𝟑 3. b. Las probabilidades de salida o a posteriori son: 𝑃(𝑏 = 0) = 𝑃(𝑏 = 0/𝑎 = 0) ∗ 𝑃(𝑎 = 0) + 𝑃(𝑏 = 0/𝑎 = 1) ∗ 𝑃(𝑎 = 1) 2 1 1 1 𝟏𝟏 𝑃(𝑏 = 0) = ( ) ∗ ( ) + ( ) ∗ ( ) = 3 2 4 2 𝟐𝟒 11 𝟏𝟑 𝑃(𝑏 = 1) = 1 − 𝑃(𝑏 = 0) = 1 − = 24 𝟐𝟒 c. El canal AB tiene la matriz de canal: 𝟏 𝟎 𝑷𝑨𝑩 = [𝟐/𝟑 𝟏/𝟑] 𝟎 𝟏 Y está conectado con el canal BC con la matriz: 𝟏/𝟒 𝟑/𝟒 𝟎 𝑷𝑩𝑪 = [ ] 𝟎 𝟎 𝟏 .

𝟗𝟓𝟒𝟒 8 8 8 8 𝑟 𝑃(𝑐𝑗 ) = ∑ 𝑃(𝑐_𝑗/𝑏_𝑖 ) ∗ 𝑃(𝑏𝑖 ) 𝑖=1 1 3 5 𝟑 𝑃(𝑐1 ) = ( ) ( ) + (0) ( ) = 4 8 8 𝟑𝟐 3 3 5 𝟗 𝑃(𝑐2 ) = ( ) ( ) + (0) ( ) += 4 8 8 𝟑𝟐 3 5 𝟓 𝑃(𝑐2 ) = (0) ( ) + (1) ( ) += 8 8 𝟖 Entonces: 3 3 9 9 5 5 𝐻(𝐴) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟏. 𝐻(𝐴) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟏. Calcular I(A. b. c. I(B. a. C).La entrada ternaria de A al sistema de canales tiene las siguientes estadísticas: 𝟏 𝟑 𝟏 𝑷(𝒂𝟏 ) = . 𝟐𝟓𝟖𝟔 32 32 32 32 8 8 . Calcular H(A). 𝑷(𝒂𝟐 ) = 𝒚 𝑷(𝒂𝟑 ) = 𝟖 𝟖 𝟐 La salida del canal AB es B y la salida del canal BC es C. H (B) y H(C). Qué puede decir acerca del canal BC? ¿Explique? Solución: 1 1 3 3 1 1 a. B). C) y I(A. 𝟒𝟎𝟓𝟔 8 8 8 8 2 2 𝑟 𝑃(𝑏𝑗 ) = ∑ 𝑃(𝑏_𝑗/𝑎_𝑖 ) ∗ 𝑃(𝑎𝑖 ) 𝑖=1 1 2 3 5 𝟑 𝑃(𝑏1 ) = (1) ( ) + ( ) ( ) + (0) ( ) = 8 3 8 8 𝟖 1 1 3 𝟓 𝑃(𝑏2 ) = (0) ( ) + ( ) ( ) + (1)(2) = 8 3 8 𝟖 Entonces: 3 3 5 5 𝐻(𝐵) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟎.

Para calcular la información mutua 𝐼(𝐴. 𝟗𝟏𝟖𝟐 3 3 3 3 . b. 𝐵). primero calculamos las probabilidades a posteriori de la siguiente manera: 𝑃(𝑏 = 1/𝑎 = 1) ∗ 𝑃(𝑎 = 1) 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝑃(𝑏 = 1) (1)(1/8) 𝑃(𝑎 = 1 / 𝑏 = 1) = 3/8 𝟏 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝟑 𝑃(𝑏 = 1/𝑎 = 2)𝑃(𝑎 = 2) 𝑃(𝑎 = 2 / 𝑏 = 1) = 𝑃(𝑏 = 1) (2/3)(3/8) 𝑃(𝑎 = 1 / 𝑏 = 1) = 3/8 𝟐 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝟑 𝑃(𝑏 = 1/𝑎 = 3) 𝑃(𝑎 = 3) 𝑃(𝑎 = 3 / 𝑏 = 1) = 𝑃(𝑏 = 1) (0)(1/2) 𝑃(𝑎 = 1 / 𝑏 = 1) = 3/8 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝟎 𝑃(𝑏 = 1/𝑎 = 1) ∗ 𝑃(𝑎 = 1) 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝑃(𝑏 = 2) (0)(1/8) 𝑃(𝑎 = 1 / 𝑏 = 2) = 5/8 𝑃(𝑎 = 1 / 𝑏 = 2) = 𝟎 𝑃(𝑏 = 2/𝑎 = 2)𝑃(𝑎 = 2) 𝑃(𝑎 = 2 / 𝑏 = 2) = 𝑃(𝑏 = 2) (1/3)(3/8) 𝑃(𝑎 = 1 / 𝑏 = 1) = 5/8 𝟏 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝟓 𝑃(𝑏 = 2/𝑎 = 3) 𝑃(𝑎 = 3) 𝑃(𝑎 = 3 / 𝑏 = 2) = 𝑃(𝑏 = 2) (1)(1/2) 𝑃(𝑎 = 1 / 𝑏 = 1) = 5/8 𝟒 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝟓 Y la entropía: 𝐻(𝐴/𝐵) = ∑𝑟𝑗=1 𝑃(𝑏𝑗 )𝐻(𝐴/𝑏𝑗 ) = 𝑃(𝑏 = 1)𝐻(𝐴/𝑏 = 1) + 𝑃(𝑏 = 2)𝐻(𝐴/𝑏 = 2) 1 1 2 2 𝐻(𝐴/𝑏 = 1) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟎.

𝐵) = 1.3443 + 0. 𝐶) calculamos las probabilidades a posteriori: 𝑃(𝑐 = 1/𝑏 = 1) ∗ 𝑃(𝑏 = 1) 𝑃(𝑏 = 1 / 𝑐 = 1) = 𝑃(𝑐 = 1) (1/4)(3/8) 𝑃(𝑏 = 1 / 𝑐 = 1) = 3/32 𝑃(𝑏 = 1 / 𝑐 = 1) = 𝟏 𝑃(𝑐 = 1/𝑏 = 2)𝑃(𝑏 = 2) 𝑃(𝑏 = 2 / 𝑐 = 1) = 𝑃(𝑐 = 1) (0)(5/8) 𝑃(𝑏 = 1 / 𝑐 = 1) = 3/32 𝑃(𝑏 = 1 / 𝑐 = 1) = 𝟎 𝑃(𝑐 = 2/𝑏 = 1) 𝑃(𝑏 = 1) 𝑃(𝑏 = 1 / 𝑐 = 2) = 𝑃(𝑐 = 1) (3/4)(3/8) 𝑃(𝑏 = 1 / 𝑐 = 2) = 9/32 𝑃(𝑏 = 1 / 𝑐 = 2) = 𝟏 𝑃(𝑐 = 2/𝑏 = 2) ∗ 𝑃(𝑏 = 2) 𝑃(𝑏 = 2 / 𝑐 = 2) = 𝑃(𝑐 = 2) (0)(5/8) 𝑃(𝑏 = 2 / 𝑐 = 2) = 9/32 𝑃(𝑏 = 2 / 𝑐 = 2) = 𝟎 𝑃(𝑐 = 3/𝑏 = 1)𝑃(𝑏 = 1) 𝑃(𝑏 = 1 / 𝑐 = 3) = 𝑃(𝑐 = 3) . 𝟕𝟗𝟓𝟓 Como ya tenemos la 𝐻(𝐴/𝐵) 𝑦 𝐻(𝐴) podemos calcular la información mutua aplicando la regla de la cadena y a la vez comprobando que 𝐻(𝐴/𝐵) < 𝐻(𝐴) por lo tanto: 𝐼(𝐴. 𝑩) = 𝟎.7219) 8 8 𝐻(𝐴/𝐵) = 0.7955 𝑰(𝑨. 1 1 4 4 𝐻(𝐴/𝑏 = 2) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟎.2586 − 0. 𝐵) = 𝐻(𝐴) − 𝐻(𝐴/𝐵) 𝐼(𝐴. 𝟕𝟐𝟏𝟗 5 5 5 5 Entonces: 3 5 𝐻(𝐴/𝐵) = ( ) ∗ (0.9182) + ( ) ∗ (0. 𝟑𝟖𝟒𝟗 𝒃𝒊𝒕𝒔/𝒔𝒊𝒎𝒃𝒐𝒍𝒐 ↔ 𝑯(𝑨/𝑩) < 𝑯(𝑨) Para calcular 𝐼(𝐵.4511 = 𝟎.

𝐶): 𝑃(𝑐 = 1/𝑎 = 1) ∗ 𝑃(𝑎 = 1) 𝑃(𝑎 = 1 / 𝑐 = 1) = 𝑃(𝑐 = 1) . 𝐵) = 0. 𝟗𝟓𝟒𝟗 𝒃𝒊𝒕𝒔/𝒔𝒊𝒎𝒃𝒐𝒍𝒐 ↔ 𝑯(𝑩/𝑪) < 𝑯(𝑩) Para calcular 𝑰(𝑨. 𝑪) = 𝟎. está la encontramos multiplicando las matrices del canal esto es: 𝑃𝐴𝐵 ∗ 𝑃𝐵𝐶 = 𝑃𝐴𝐶 1/4 3/4 0 𝑃𝐴𝐶 = [1/6 1/2 1/3] 0 0 1 Una vez obtenida esta matriz de probabilidades del canal procedemos a calcular las probabilidades a posteriori.9549 − 0 𝑰(𝑩. (0)(3/8) 𝑃(𝑏 = 1 / 𝑐 = 3) = 5/8 𝑃(𝑏 = 1 / 𝑐 = 3) = 𝟎 𝑃(𝑐 = 3/𝑏 = 2) 𝑃(𝑏 = 2) 𝑃(𝑏 = 2 / 𝑐 = 3) = 𝑃(𝑐 = 3) (1)(5/8) 𝑃(𝑎 = 1 / 𝑏 = 1) = 5/8 𝑃(𝑎 = 1 / 𝑏 = 1) = 𝟏 Y la entropía: 𝐻(𝐵/𝐶) = ∑𝑟𝑗=1 𝑃(𝑏𝑗 )𝐻(𝐵/𝑐𝑗 ) 𝐵 = 𝑃(𝑐 = 1)𝐻(𝐵/𝑐 = 1) + 𝑃(𝑐 = 2)𝐻(𝐵/𝑐 = 2) + 𝑃(𝑐 = 3)𝐻( 𝑐 = 3 (3) 𝐻(𝐵/𝑐 = 1) = −1 ∗ 𝑙𝑜𝑔2 (1) = 𝟎 𝐻(𝐵/𝑐 = 2) = −1 ∗ 𝑙𝑜𝑔2 (1) = 𝟎 𝐻(𝐵/𝑐 = 3) = −1 ∗ 𝑙𝑜𝑔2 (1) = 𝟎 Entonces reemplazando en (3): 3 9 5 𝐻(𝐵/𝐶) = ( ) ∗ (0) + ( ) ∗ (0) + ( ) ∗ (0) = 0 32 32 8 𝐻(𝐵/𝐶) = 𝟎 Esto quiere decir que es un canal donde no hay pérdida de información Como ya tenemos la 𝐻(𝐵/𝐶) 𝑦 𝐻(𝐵) podemos calcular la información mutua aplicando la regla de la cadena y a la vez comprobando que 𝐻(𝐵/𝐶) < 𝐻(𝐵) por lo tanto: 𝐼(𝐵. 𝑪) debemos primero calcular la matriz del canal BC. para calcular 𝐼(𝐵. 𝐶) = 𝐻(𝐵) − 𝐻(𝐵/𝐶) 𝐼(𝐴.

(1/4)(1/8) 𝑃(𝑎 = 1 / 𝑐 = 1) = 3/32 𝑃(𝑎 = 1 / 𝑐 = 1) = 𝟏/𝟑 𝑃(𝑐 = 1/𝑎 = 2)𝑃(𝑎 = 2) 𝑃(𝑎 = 2 / 𝑐 = 1) = 𝑃(𝑐 = 1) (1/6)(3/8) 𝑃(𝑐 = 2 / 𝑐 = 1) = 3/32 𝑃(𝑐 = 2 / 𝑐 = 1) = 𝟐/𝟑 𝑃(𝑐 = 1/𝑎 = 3) 𝑃(𝑎 = 3) 𝑃(𝑎 = 3 / 𝑐 = 1) = 𝑃(𝑐 = 1) (0)(1/2) 𝑃(𝑎 = 3 / 𝑐 = 1) = 3/32 𝑃(𝑎 = 3 / 𝑐 = 1) = 𝟎 𝑃(𝑐 = 2/𝑎 = 1) ∗ 𝑃(𝑎 = 1) 𝑃(𝑎 = 1 / 𝑐 = 2) = 𝑃(𝑐 = 2) (3/4)(1/8) 𝑃(𝑎 = 1 / 𝑐 = 2) = 9/32 𝑃(𝑎 = 1 / 𝑐 = 2) = 𝟏/𝟑 𝑃(𝑐 = 2/𝑎 = 2)𝑃(𝑎 = 2) 𝑃(𝑎 = 2 / 𝑐 = 2) = 𝑃(𝑐 = 2) (1/2)(3/8) 𝑃(𝑎 = 2 / 𝑐 = 2) = 9/32 𝑃(𝑎 = 2 / 𝑐 = 2) = 𝟐/𝟑 𝑃(𝑐 = 2/𝑎 = 3) 𝑃(𝑎 = 3) 𝑃(𝑎 = 3 / 𝑐 = 2) = 𝑃(𝑐 = 2) (0)(1/2) 𝑃(𝑎 = 3 / 𝑐 = 2) = 9/32 𝑃(𝑎 = 3 / 𝑐 = 2) = 𝟎 𝑃(𝑐 = 3/𝑎 = 1) ∗ 𝑃(𝑎 = 1) 𝑃(𝑎 = 1 / 𝑐 = 3) = 𝑃(𝑐 = 3) (0)(1/8) 𝑃(𝑎 = 1 / 𝑐 = 3) = 5/8 𝑃(𝑎 = 1 / 𝑐 = 3) = 𝟎 𝑃(𝑐 = 3/𝑎 = 2)𝑃(𝑎 = 2) 𝑃(𝑎 = 2 / 𝑐 = 3) = 𝑃(𝑐 = 3) (1/3)(3/8) 𝑃(𝑎 = 2 / 𝑐 = 3) = 5/8 𝑃(𝑎 = 2 / 𝑐 = 3) = 𝟏/𝟓 𝑃(𝑐 = 3/𝑎 = 3) 𝑃(𝑎 = 3) 𝑃(𝑎 = 3 / 𝑐 = 3) = 𝑃(𝑐 = 3) (1)(1/2) 𝑃(𝑎 = 3 / 𝑐 = 3) = 5/8 .

𝟒𝟓𝟓𝟒𝟖) 32 32 8 𝐻(𝐴/𝐶) = 𝟎. 𝐵) = 1.4 (probabilidad de no aprobado) P(A=1) = 0. 𝟗𝟏𝟖𝟑 3 3 3 3 1 1 2 2 𝐻(𝐴/𝑐 = 2) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟎.6 (probabilidad de aprobado) P(A=1|B=1) = ? 1−𝑝 𝑝 𝑀=[ ] 𝑞 1−𝑞 . 𝟗𝟏𝟖𝟑) + ( ) ∗ (𝟎. 𝟒𝟓𝟓𝟒𝟖 5 5 5 5 Entonces reemplazando en (4): 3 9 5 𝐻(𝐴/𝐶) = ( ) ∗ (𝟎. Se puede decir que es un canal sin ruido. Lamentablemente la conexión telefónica es tan mala que si tu amigo dice "aprobado" eso se confunde con “no aprobado” 3 de cada 10 veces y si tu amigo dice "no aprobado”. El canal BC es un canal donde no se pierde la información cuya información mutua es igual a la entropía de B. 4. 𝟗𝟏𝟖𝟑 3 3 3 3 1 1 4 4 𝐻(𝐴/𝑐 = 3) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟎. eso se confunde con "aprobado" 1 de cada 10 veces.6290 𝑰(𝑩. ¿Qué tan seguro está usted de haber pasado el examen si usted ha escuchado a su amigo decir que ha aprobado? Datos: p = 1/10 q = 3/10 A = Emisor B = Receptor P(A=0) = 0. 𝐶) = 𝐻(𝐴) − 𝐻(𝐴/𝐶) 𝐼(𝐴. 𝑃(𝑎 = 3 / 𝑐 = 3) = 𝟒/𝟓 Y la entropía: 𝐻(𝐴/𝐶) = ∑𝑟𝑗=1 𝑃(𝑐𝑗 )𝐻(𝐴/𝑐𝑗 ) = 𝑃(𝑐 = 1)𝐻(𝐴/𝑐 = 1) + 𝑃(𝑐 = 2)𝐻(𝐴/𝑐 = 2) + 𝑃(𝑐 = 3)𝐻(𝐴/𝑐) = 3 (4) 1 1 2 2 𝐻(𝐴/𝑐 = 1) = − 𝑙𝑜𝑔2 ( ) − 𝑙𝑜𝑔2 ( ) = 𝟎. Antes de hablar con su amigo había 60% de confía en que habías pasado el examen. Un amigo tuyo acaba de ver los resultados de tu examen y ha llamado por teléfono para decirte si has pasado o no. 𝟔𝟐𝟗𝟔 𝒃𝒊𝒕𝒔/𝒔𝒊𝒎𝒃𝒐𝒍𝒐 ↔ 𝑯(𝑨/𝑪) < 𝑯(𝑨) c.2586 − 0. 𝑪) = 𝟎. 𝟔𝟐𝟗𝟎 Como ya tenemos la 𝐻(𝐴/𝐶) 𝑦 𝐻(𝐴) podemos calcular la información mutua aplicando la regla de la cadena y a la vez comprobando que 𝐻(𝐴/𝐶) < 𝐻(𝐴) por lo tanto: 𝐼(𝐵. 𝟗𝟏𝟖𝟑) + ( ) ∗ (𝟎.

(0. 𝑃(𝐴𝑖) 𝑗=1 2 𝑃(𝐵 = 0) = ∑ 𝑃(𝐵𝑗|𝐴 = 0). (0.5 . ¿Que el sistema proporciona más información para la misma tasa de error de bit? Datos: Canal fibra Óptica = BSC Canal inalámbrico móvil = BEC P(X=0) = 0. calcular la información mutua asumiendo equiprobables entradas para ambos tipos de canales de comunicación. 1 − 1/10 1/10 9/10 1/10 𝑀=[ ]= [ ] 3/10 1 − 3/10 3/10 7/10 𝑁 𝑃(𝐵𝑗) = ∑ 𝑃(𝐵𝑗|𝐴𝑖). 𝑃(𝐴 = 1) 9 3 𝑃(𝐵 = 0) = ( ). 𝑃(𝐴 = 0) 𝑗=1 𝑃(𝐵 = 1) = 𝑃(𝐵 = 1|𝐴 = 0). 𝑃(𝐴) 𝑃(𝐴|𝐵) = 𝑃(𝐵) 𝑃(𝐵 = 1|𝐴 = 1).54 2 𝑃(𝐵 = 1) = ∑ 𝑃(𝐵𝑗|𝐴 = 0). 𝑃(𝐴 = 0) 𝑗=1 𝑃(𝐵 = 0) = 𝑃(𝐵 = 0|𝐴 = 0). 𝑃(𝐴 = 0) + 𝑃(𝐵 = 0|𝐴 = 1).4) + .913 5.6) 10 10 𝑃(𝐵 = 0) = 0. (0. 𝑃(𝐴 = 1) 𝑃(𝐴 = 1|𝐵 = 1) = 𝑃(𝐵 = 1) (0.6) 10 10 𝑃(𝐵 = 1) = 0. (0. Que es mejor canal BEC o BSC? Considerar un canal de comunicación de fibra óptica con cruce de probabilidad de X y un canal inalámbrico móvil con probabilidad de eliminación de X.7).6) 𝑃(𝐴 = 1|𝐵 = 1) = (0. 𝑃(𝐴 = 0) + 𝑃(𝐵 = 1|𝐴 = 1).46) 𝑃(𝐴 = 1|𝐵 = 1) = 0.5 P(X=1) = 0. 𝑃(𝐴 = 1) 1 7 𝑃(𝐵 = 1) = ( ).46 Finalmente calculamos la probabilidad condicional pedida P(A=1|B=1) o probabilidad de haber pasado el examen dado que escuchó que aprobó: 𝑃(𝐴|𝐵) 𝑃(𝐵|𝐴) = 𝑃(𝐴) 𝑃(𝐵) 𝑃(𝐵|𝐴).4) + . (0.

𝑃(𝑋 = 1) 𝑃(𝑌 = 0) = (0. (0. 𝑃(𝑋 = 0) + 𝑃(𝑌 = 0|𝑋 = 1).5) 𝐻(𝑌) = 1 bit 𝑵 𝑵 𝑯(𝒀|𝑿) = ∑ ∑ 𝑯(𝒀𝒋|𝑿𝒊). (0. 𝑃(𝑋 = 0) + 𝐻(𝑌 = 1|𝑋 = 1).5).99).5 2 𝑃(𝑌 = 1) = ∑ 𝑃(𝑌𝑗|𝑋 = 0).5 𝑵 𝑯(𝒀) = − ∑ 𝑷(𝒀𝒋). 𝑷(𝑿𝒊) 𝒊=𝟏 𝑱=𝟏 𝐻(𝑌|𝑋) = 𝐻(𝑌 = 0|𝑋 = 0). (0.5).01 q = (1-10 -2) = 0. 𝑃(𝑋 = 0) 𝑗=1 𝑃(𝑌 = 1) = 𝑃(𝑌 = 1|𝑋 = 0). 𝑃(𝑋 = 1) + 𝐻(𝑌 = 1|𝑋 = 0).Y) = ? . 𝑃(𝑋 = 1) . 𝑃(𝑋 = 1) 𝑃(𝑌 = 1) = (0. p = 10 -2 = 0.01). 𝑃(𝑋 = 0) 𝑗=1 𝑃(𝑌 = 0) = 𝑃(𝑌 = 0|𝑋 = 0).01). BSC 1−𝑝 𝑝 𝐹(𝑌|𝑋) = [ ] 𝑝 1−𝑝 0. 𝑃(𝑋 = 0) + 𝑃(𝑌 = 1|𝑋 = 1). 𝐥𝐨𝐠 𝟐 𝑷(𝒀𝒋) 𝒊=𝟏 𝐻(𝑌) = −(0.5) + (0.5) 𝑃(𝑌 = 1) = 0.99 0. log 2 (0.5) − (0.99). 𝑷(𝑿𝒊) 𝒋=𝟏 2 𝑃(𝑌 = 0) = ∑ 𝑃(𝑌𝑗|𝑋 = 0). 𝑃(𝑋 = 0) + 𝐻(𝑌 = 0|𝑋 = 1).01 𝐹(𝑌|𝑋) = [ ] 0. log 2 (0.99 I(X.5) + (0. (0.01 0.5) 𝑃(𝑌 = 0) = 0.99 𝑵 𝑷(𝒀𝒋) = ∑ 𝑷(𝒀𝒋|𝑿𝒊).

5) + (0).99 𝑵 𝑷(𝒀𝒋) = ∑ 𝑷(𝒀𝒋|𝑿𝒊). log 2 𝑃(0.0808 𝐼(𝑋. 𝑃(𝑋 = 1) 𝑃(𝑌 = 1) = (0). 𝑃(𝑋 = 1) 𝑃(𝑌 = 𝑏) = (0. 𝑌) = 1 − 0.5) 𝐻(𝑌|𝑋) = 0. (0.01 0.495 2 𝑃(𝑌 = 𝑏) = ∑ 𝑃(𝑌𝑗|𝑋 = 0). (0. 𝑷(𝑿𝒊) 𝒋=𝟏 2 𝑃(𝑌 = 0) = ∑ 𝑃(𝑌𝑗|𝑋 = 0).5) + 2.5) + (0. (0. (0. (0.99).99 0. log 2 𝑃(0.01).5) 𝑃(𝑌 = 0) = 0. 𝑃(𝑋 = 0) 𝑗=1 𝑃(𝑌 = 1) = 𝑃(𝑌 = 1|𝑋 = 0).99).01). 𝑃(𝑋 = 0) + 𝑃(𝑌 = 1|𝑋 = 1).99).9192 Bits/símbolo .99). 𝑃(𝑋 = 0) 𝑗=1 𝑃(𝑌 = 𝑏) = 𝑃(𝑌 = 𝑏|𝑋 = 0). 𝑃(𝑋 = 0) 𝑗=1 𝑃(𝑌 = 0) = 𝑃(𝑌 = 0|𝑋 = 0). 𝑃(𝑋 = 0) + 𝑃(𝑌 = 0|𝑋 = 1). BEC 1−𝑝 𝑝 0 𝑀(𝑌|𝑋) = [ ] 0 𝑝 1−𝑝 0.01). 𝑃(𝑋 = 1) 𝑃(𝑌 = 0) = (0. 𝒀) = 𝐇(𝐘) − 𝐇(𝐘|𝐗) 𝐼(𝑋.01). (0.01 2 𝑃(𝑌 = 1) = ∑ 𝑃(𝑌𝑗|𝑋 = 0). (0.5) 𝑃(𝑌 = 𝑏) = 0. 𝐻(𝑌|𝑋) = 2.01 0 𝑀(𝑌|𝑋) = [ ] 0 0. (0. (0.5) + (0. 𝑌) = 0.0808 𝑰(𝑿. (0.495 .5) 𝑃(𝑌 = 1) = 0. 𝑃(𝑋 = 0) + 𝑃(𝑌 = 𝑏|𝑋 = 1).

𝑷(𝑿𝒊) 𝒊=𝟏 𝑱=𝟏 𝐻(𝑌|𝑋) = 𝐻(𝑌 = 0|𝑋 = 0).495).01).5) − 0 𝐻(𝑌|𝑋) = 0. 𝑌) = 0. (0.495) − (0. 𝑃(𝑋 = 1) + 𝐻(𝑌 = 1|𝑋 = 0). Un canal discreto sin memoria esta caracterizado por la matriz 𝟏 𝟏 𝟏 𝟑 𝟑 𝟔 𝟏 𝟏 𝟏 𝟔 𝟐 𝟑 𝟏 𝟏 𝟏 [𝟑 𝟔 𝟐] .99). (0. log 2 (0.99). 𝑵 𝑯(𝒀) = − ∑ 𝑷(𝒀𝒋).495) 𝐻(𝑌) = 1.0808 𝐼(𝑋.01) − (0.99 EJERCICIOS CANAL BEC 1. 𝒀) = 𝐇(𝐘) − 𝐇(𝐘|𝐗) 𝐼(𝑋.01).9192 vs BEC = 0.99 Bits/símbolo ∴ El Canal BEC contiene más información que el BSC BSC = 0. 𝑃(𝑋 = 0) + 𝐻(𝑌 = 0|𝑋 = 1). log 2 𝑃(0.01). 𝑃(𝑋 = 1) + 𝐻(𝑌 = 𝑏|𝑋 = 0).0708 bit 𝑵 𝑵 𝑯(𝒀|𝑿) = ∑ ∑ 𝑯(𝒀𝒋|𝑿𝒊).0808 𝑰(𝑿. 𝑃(𝑋 = 0) + 𝐻(𝑌 = 1|𝑋 = 1). 𝑃(𝑋 = 1) 𝐻(𝑌|𝑋) = −2. 𝐥𝐨𝐠 𝟐 𝑷(𝒀𝒋) 𝒊=𝟏 𝐻(𝑌) = −(0. log 2 𝑃(0. log 2 (0. (0.495). 𝑌) = 1.0708 − 0. (0. 𝑃(𝑋 = 0) + 𝐻(𝑌 = 𝑏|𝑋 = 1).5) − 2. log 2(0.

0.2. y mantienen el mismo valor (Y=X) cuando las entradas son X=1 o X=-1. 𝑝(𝑥3 |𝑦2 ) = . -1}. 𝒑𝒂𝒓𝒂 𝟎 < 𝜶 + 𝜷 ≤ 𝟏 El regenerador restituye los valores de los borrones (X=0) en valores de salida Y=1 o Y=-1. 𝑝(𝑥3 |𝑦3 ) = 9 8 7 Ya se puede calcular la probabilidad de error 3 1 2 1 1 1 7 2 2 1 𝑝(𝑒) = ( + ) + ( + ) + ( + ) = 8 9 9 3 2 8 24 7 7 2 El esquema de decisión del observador ideal es que decodifica 𝑦1 como 𝑥1 .Se encontrará el esquema del observador ideal si p(x1) = 1/2. Un sistema de trasmisión de datos está compuesto por un regenerador de señal.3 3 𝑝(𝑦1 ) = 𝑝(𝑦1 |𝑥1 )𝑝(𝑥1 ) + 𝑝(𝑦1 |𝑥2 )𝑝(𝑥2 ) + 𝑝(𝑦1 |𝑥3 )𝑝(𝑥3 ) = 8 1 𝑝(𝑦2 ) = 𝑝(𝑦2 |𝑥2 )𝑝(𝑥2 ) + 𝑝(𝑦2 |𝑥2 )𝑝(𝑥2 ) + 𝑝(𝑦2 |𝑥3 )𝑝(𝑥3 ) = 3 7 𝑝(𝑦3 ) = 𝑝(𝑦3 |𝑥3 )𝑝(𝑥3 ) + 𝑝(𝑦3 |𝑥2 )𝑝(𝑥2 ) + 𝑝(𝑦3 |𝑥3 )𝑝(𝑥3 ) = 24 Ahora 𝑝(𝑥𝑖 . 𝑦2 como 𝑥1 y 𝑦3 como 𝑥3 pues son los que tienen mayor probabilidad. con la misma proporción con la que se generan. el sistema de trasmisión de datos regenerador se puede caracterizar a través de la matriz estocástica de probabilidades de transición: . p(x2) = p(x3) = 1/4 y se calculará la probabilidad de error asociada Solución: La probabilidad de error está asociada por 3 3 3 𝑝(𝑒) = ∑ 𝑝(𝑦𝑗 )𝑝(𝑒|𝑦𝑗 ) = ∑ 𝑝(𝑦𝑗 ) [∑ 𝑝(𝑥𝑖 |𝑗)] 𝑖=1 𝑖=1 𝑖≠𝑗 Calculemos 𝑝(𝑦𝑗 ). 𝑦𝑗 ) 𝑝(𝑥𝑖 )𝑝(𝑦𝑗 |𝑥𝑖 ) 𝑝(𝑥𝑖 |𝑦𝑗 ) = = 𝑝(𝑦𝑗 ) (𝑝𝑦𝑗 ) Y así se obtiene 2 1 2 𝑝(𝑥1 |𝑦1 ) = . 𝑗 = 1. [𝑿 = −𝟏] = 𝜷. 2. 𝑝(𝑥1 |𝑦3 ) = 3 2 7 1 3 2 𝑝(𝑥2 |𝑦1 ) = . [𝑿 = 𝟎] = 𝟏 − 𝜶 − 𝜷. Las probabilidades de recepción de los símbolos son: 𝑷[𝑿 = 𝟏] = 𝜶. 𝑝(𝑥2 |𝑦2 ) = . El regenerador tiene por entradas (X) símbolos que pertenecen al alfabeto {1. 𝑝(𝑥2 |𝑦3 ) = 9 8 7 3 1 3 𝑝(𝑥3 |𝑦1 ) = . Así. 𝑝(𝑥1 |𝑦2 ) = .

𝑌) = (𝛼 + 𝛽) ∗ [− log 2 − log 2 ] 𝛼+𝛽 𝛼+𝛽 𝛼+𝛽 𝛼+𝛽 . b) Calcule H(Y/X). Solucion : a) Determine H(Y). 𝐻(𝑌/𝑋) = 𝑃(𝑋 = 1) ∗ 𝐻(𝑌/𝑋 = 1) + 𝑃(𝑋 = −1) ∗ 𝐻(𝑌/𝑋 = −1) + 𝑃(𝑋 = 0) ∗ 𝐻(𝑌/𝑋 = 0) 𝐻(𝑌/𝑋) = 𝑃(𝑋 = 0) ∗ 𝐻(𝑌/𝑋 = 0) 𝑑𝑎𝑑𝑜 𝑞𝑢𝑒 𝑙𝑜𝑠 𝑜𝑡𝑟𝑜𝑠 𝑠𝑢𝑚𝑎𝑛𝑑𝑜 𝑠𝑜𝑛 𝑐𝑒𝑟𝑜 𝑡𝑒𝑛𝑒𝑚𝑜𝑠: 𝛼 𝐻(𝑌/𝑋) = [1 − (𝛼 + 𝛽)] ∗ 𝛼+𝛽=[1 − (𝛼 + 𝛽)] ∗ 𝐻(𝑌) c) Halle I(X. c) Halle I(X.Y). 𝟏 𝟎 𝜶 𝜷 𝑸= (𝜶+𝜷 𝜶+𝜷 ) 𝟎 < 𝜶+𝜷 ≤ 𝟏 𝟎 𝟏 Esquema de trasmisión de datos del regenerador de símbolos a) Determine H(Y). 𝛼 𝛼 𝛼 𝑃(𝑌 = 1) = 𝛼 + [1 − (𝛼 + 𝛽)] ∗ =𝛼+ −𝛼 = 𝛼+𝛽 𝛼+𝛽 𝛼+𝛽 𝛽 𝑃(𝑌 = −1) = 1 − 𝑃(𝑌 = 1) = 𝛼+𝛽 𝐻(𝑌) = −𝑃(𝑌 = 1) ∗ log 2 𝑃(𝑌 = 1) − 𝑃(𝑌 = −1) ∗ log 2 𝑃(𝑌 = −1) 𝛼 𝛼 𝛽 𝛽 𝛼 =− ∗ log 2 − log 2 = 𝛼+𝛽 𝛼+𝛽 𝛼+𝛽 𝛼+𝛽 𝛼+𝛽 b) Calcule H(Y/X).Y). 𝐼(𝑋. 𝑌) = 𝐻(𝑌) − 𝐻(𝑌/𝑋) = 𝐻(𝑌) − [1 − (𝛼 + 𝛽)]𝐻(𝑌) = (𝛼 + 𝛽) ∗ 𝐻(𝑌) 𝛼 𝛼 𝛽 𝛽 𝐼(𝑋.

d) Información mutua I(X.1). El canal se caracteriza por la matriz estocástica: 𝟏−𝒑 𝒑 𝒐 𝑸=( ) Donde p es la probabilidad de recibir un borrado (B) a la salida 𝟎 𝒑 𝟏−𝒑 del canal cuando se emite un símbolo binario (0. b) Calcule H(X/Y). c) Determine H(Y/X). cuya salida denominaremos Y.3. Exprese los resultados utilizando 𝑯(𝜶) 𝒚 𝑯(𝒑) Solución: a) Armando la matriz con las probabilidades dadas queda: (1 − 𝑝)𝛼 𝛼𝑝 0 ( ) 𝑑𝑎𝑑𝑜 𝑞𝑢𝑒 𝑃(𝑋 = 0) = 𝛼 𝑦 𝑃(𝑋 = 1) = 0 𝑝(1 − 𝛼) (1 − 𝑝)(1 − 𝛼) 1−𝛼 𝑃(𝑌 = 0) = (1 − 𝑝)𝛼 𝑃(𝑌 = 𝐵) = 𝛼𝑝 + 𝑝(1 − 𝛼) = 𝑝[𝛼 + (1 − 𝛼)] = 𝑝(𝛼 + 1 − 𝛼) = 𝑝 𝑃(𝑌 = 1) = (1 − 𝑝)(1 − 𝛼) 𝑁 𝐻(𝑋) = − ∑ 𝑃𝑖𝑗 log 2 𝑃𝑖𝑗 𝑓𝑜𝑟𝑚𝑢𝑙𝑎 𝑝𝑎𝑟𝑎 𝑒𝑛𝑐𝑜𝑛𝑡𝑟𝑎𝑟 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑖=1 𝐻(𝑋) = −𝛼 log 2 𝛼 − (1 − 𝛼) log 2 (1 − 𝛼) 𝑝𝑜𝑟 𝑚𝑜𝑡𝑖𝑣𝑜𝑠 𝑑𝑒 𝑒𝑠𝑐𝑟𝑖𝑡𝑢𝑟𝑎 𝐻(𝑋) = 𝐻(𝛼) 𝐻(𝑌) = −(1 − 𝑝)𝛼 log 2 (1 − 𝑝)𝛼 − 𝑝 log 2 𝑝 − (1 − 𝑝)(1 − 𝛼) log 2(1 − 𝑝)(1 − 𝛼) = −(1 − 𝑝)𝛼[log 2 (1 − 𝑝) + log 2 𝛼] − 𝑝 log 2 𝑝 − (1 − 𝑝)(1 − 𝛼)[log 2 (1 − 𝑝) + log 2 (1 − 𝛼)] 𝐻(𝑌) = −(1 − 𝑝)𝛼 log 2 (1 − 𝑝) − (1 − 𝑝)𝛼 log 2 𝛼 − 𝑝 log 2 𝑝 − (1 − 𝑝)(1 − 𝛼) log 2(1 − 𝑝) − (1 − 𝑝)(1 − 𝛼) log 2 (1 − 𝛼) . la fuente emite el símbolo 0 con probabilidad 𝜶 y el símbolo 1 con probabilidad 𝟏 − 𝜶.Y). razone el resultado obtenido para los casos donde: p=0 y p=1. a) Halle la relación entre H(Y) y H(X). Un sistema de trasmisión de datos está compuesto por una fuente binaria X y un canal binario con borrados. e) Especifique cual es el valor de la capacidad C del canal con borrados en bits por símbolo.

𝑌) = −𝛼[(1 − 𝑝) log 2 (1 − 𝑝)] − (1 − 𝑝)[𝛼 log 2 𝛼] − 𝑝[𝛼 log 2 𝛼] − 𝛼[𝑝 log 2 𝑝] − (1 − 𝛼)[𝑝 log 2 𝑝] − 𝑝[(1 − 𝛼) log 2(1 − 𝛼)] − (1 − 𝛼)[(1 − 𝑝) log 2(1 − 𝑝)] − (1 − 𝑝)[(1 − 𝛼) log 2 (1 − 𝛼)] 𝐻(𝑋. 𝑌) = −(1 − 𝑝)𝛼 log 2(1 − 𝑝) − (1 − 𝑝)𝛼 log 2 𝛼 − 𝛼 log 2 𝛼 − 𝛼𝑝 log 2 𝛼 − 𝛼 𝑝log 2 𝑝 − 𝑝(1 − 𝛼) log 2 𝑝 − 𝑝(1 − 𝛼) log 2 𝑝(1 − 𝛼) − (1 − 𝑝)(1 − 𝛼) log 2 (1 − 𝑝) − (1 − 𝑝) (1 − 𝛼) log 2 (1 − 𝛼) 𝐻(𝑋. 𝒀) = −(𝟏 − 𝒑) 𝐥𝐨𝐠 𝟐 (𝟏 − 𝒑) − 𝜶 𝐥𝐨𝐠 𝟐 𝜶 − 𝒑 𝐥𝐨𝐠 𝟐 𝒑 − (𝟏 − 𝜶) 𝐥𝐨𝐠 𝟐 (𝟏 − 𝜶) 𝑯(𝑿. 𝐻(𝑌) = −𝛼[(1 − 𝑝) log 2 (1 − 𝑝)] − (1 − 𝑝)[𝛼 log 2 𝛼] − 𝑝 log 2 𝑝 − (1 − 𝛼)[(1 − 𝑝) log 2(1 − 𝑝)] − (1 − 𝑝)[(1 − 𝛼) log 2 (1 − 𝛼)] 𝐻(𝑌) = [(1 − 𝑝) log 2 (1 − 𝑝)][−𝛼 − (1 − 𝛼)] − 𝑝 log 2 𝑝 + [−(1 − 𝑝)][𝛼 log 2 𝛼 + (1 − 𝛼) log 2 (1 − 𝛼)] = [(1 − 𝑝) log 2 (1 − 𝑝)](−1) − 𝑝 log 2 𝑝 + [(1 − 𝑝)][−𝛼 log 2 𝛼 − (1 − 𝛼) log 2 (1 − 𝛼)] = −(1 − 𝑝) log 2(1 − 𝑝) − 𝑝 log 2 𝑝 + (1 − 𝑝)𝐻(𝛼) 𝐻(𝑌) = −𝑝 log 2 𝑝 − (1 − 𝑝) log 2 (1 − 𝑝) + (1 − 𝑝)𝐻(𝛼) 𝑯(𝒀) = 𝑯(𝒑) + (𝟏 − 𝒑)𝑯(𝜶) Respuesta Para cuando se tiene p=0 tenemos 𝐻(𝑌) = 𝐻(𝛼) = 𝐻(𝑋) Para cuando se tiene p=1 tenemos 𝐻(𝑌) = 0 b) Calculo de la entropía condicional 𝐻(𝑋⁄𝑌) = 𝐻(𝑋. 𝑌) − 𝐻(𝑌) 𝐻(𝑋. 𝑌) = −[(1 − 𝑝) log 2 (1 − 𝑝)][𝛼 + 1 − 𝛼] − [𝛼 log 2 𝛼][1 − 𝑝 + 𝑝] − [𝑝 log 2 𝑝][𝛼 + 1 − 𝛼] − [(1 − 𝛼) log 2 (1 − 𝛼)][1 − 𝑝 + 𝑝] 𝑯(𝑿. 𝑌) = −(1 − 𝑝)𝛼[log 2 (1 − 𝑝) + log 2 𝛼] − 𝛼𝑝[log 2 𝛼 + log 2 𝑝] − 𝑝(1 − 𝛼)[log 2 𝑝 + log 2 𝑝(1 − 𝛼)] − (1 − 𝑝)(1 − 𝛼)[log 2 (1 − 𝑝) + log 2 (1 − 𝛼)] 𝐻(𝑋. 𝑌) = −(1 − 𝑝)𝛼 log 2(1 − 𝑝)𝛼 − 𝛼𝑝 log 2 𝛼𝑝 − 𝑝 (1 − 𝛼) log 2 𝑝(1 − 𝛼) − (1 − 𝑝)(1 − 𝛼) log 2 (1 − 𝑝)(1 − 𝛼) 𝐻(𝑋. 𝑌) − 𝐻(𝑋) . 𝒀) = 𝑯(𝑷) + 𝑯(𝜶) 𝐻(𝑋⁄𝑌) = 𝐻(𝑃) + 𝐻(𝛼) − [𝐻(𝑃) + (1 − 𝑝)𝐻(𝛼)] = 𝐻(𝑃) + 𝐻(𝛼) − 𝐻(𝑃) − (1 − 𝑝)𝐻(𝛼) = 𝐻(𝛼) − (1 − 𝑝)𝐻(𝛼) = 𝐻(𝛼) − 𝐻(𝛼) + 𝑝𝐻(𝛼) 𝑯(𝑿⁄𝒀) = 𝒑𝑯(𝜶) 𝒓𝒆𝒔𝒑𝒖𝒆𝒔𝒕𝒂 c) Calculo de H(Y/X) 𝐻(𝑌⁄𝑋) = (𝑋.

𝐻(𝑌⁄𝑋) = 𝐻(𝑃) + 𝐻(𝛼) − 𝐻(𝛼) 𝑯(𝒀⁄𝑿) = 𝑯(𝑷) 𝒓𝒆𝒔𝒑𝒖𝒆𝒔𝒕𝒂 d) Calculo de I(X. 𝑃 = 106/10 = 3.Y) 𝐻(𝑋.98) . Calcule la capacidad de un canal de radio de 𝑺𝑵𝑹 = 𝟔𝒅𝑩 y el ancho de banda empleado es de 𝟓𝑲𝑯𝒛. 𝑐𝑢𝑎𝑛𝑑𝑜 𝛼 = 2 𝑪 = (𝟏 − 𝒑) 𝒃𝒊𝒕𝒔⁄𝒔𝒊𝒎𝒃𝒐𝒍𝒐 𝒓𝒆𝒔𝒑𝒖𝒆𝒔𝒕𝒂 EJERCICIOS CANAL AWGN 1. Repita el cálculo para un canal de televisión (ancho de banda 𝟓𝑲𝑯𝒛). 𝑌) = 𝐻(𝑋) − 𝐻(𝑋⁄𝑌) 𝐻(𝑋. 𝑌) 𝐶 = max(1 − 𝑝) 𝐻(𝛼) = (1 − 𝑝)𝐻𝑚𝑎𝑥 1 𝐻𝑚𝑎𝑥 = 1.98 𝑁 Calculamos la capacidad de canal del radio: 𝐶 = 5𝐾𝐻𝑧 log 2 (1 + 3. 𝑌) = 𝐻(𝛼) − 𝑝𝐻(𝛼) 𝑯(𝑿. 𝑆𝑁𝑅 = 6𝑑𝐵 𝐷𝑎𝑡𝑜𝑠 { = 5𝐾𝐻𝑧 𝑎𝑛𝑐ℎ𝑜 𝑑𝑒 𝑏𝑎𝑛𝑑𝑎 𝑝𝑎𝑟𝑎 𝑒𝑙 𝑟𝑎𝑑𝑖𝑜 𝑊 𝑊 = 5𝑀𝐻𝑧 𝑎𝑛𝑐ℎ𝑜 𝑑𝑒 𝑏𝑎𝑛𝑑𝑎 𝑝𝑎𝑟𝑎 𝑒𝑙 𝑇𝑉 𝑃 𝐶 = 𝑊 log 2 (1 + ) 𝑁 𝑃 𝑆𝑖 → 𝑅𝑒𝑙𝑎𝑐𝑖ó𝑛 𝑠𝑒ñ𝑎𝑙 𝑟𝑢𝑖𝑑𝑜 𝑆𝑁𝑅 𝑁 Primero debemos transformar la relación señal ruido 𝑆𝑁𝑅 en vatios. 𝒀) = 𝑯(𝜶)[𝟏 − 𝒑] 𝒓𝒆𝒔𝒑𝒖𝒆𝒔𝒕𝒂 e) Calculo de la capacidad máxima 𝐶 = max 𝐼(𝑋.

𝑓𝑟𝑒𝑐𝑢𝑒𝑛𝑐𝑖𝑎 𝑑𝑒 𝑚𝑢𝑒𝑠𝑡𝑟𝑜 𝑓𝑤 = 1𝐾𝐻𝑧 𝐷𝑎𝑡𝑜𝑠 { 𝑝𝑜𝑡𝑒𝑛𝑐𝑖𝑎 𝑑𝑒 𝑙𝑎 𝑠𝑒ñ𝑎𝑙 𝑑𝑒 𝑒𝑛𝑡𝑟𝑎𝑑𝑎 𝑃 = 1 𝑤𝑎𝑡𝑡𝑠 𝑝𝑜𝑡𝑒𝑛𝑐𝑖𝑎𝑠 𝑑𝑒𝑙 𝑟𝑢𝑖𝑑𝑜 𝑁 = 1 𝑤𝑎𝑡𝑡𝑠 1 𝑃 𝐶 = log 2 (1 + ) 2 𝑁 1 𝐶 = 𝑏𝑖𝑡𝑠 𝑝𝑜𝑟 𝑢𝑠𝑜 𝑑𝑒 𝑐𝑎𝑛𝑎𝑙 2 Como nos pide encontrar la capacidad de canal expresada en bits/seg utilizamos la fórmula: 𝑃 𝐶 = 𝑊 log 2 (1 + ) 𝑁 Para encontrar el valor de 𝑾 utilizamos el teorema de muestreo de Shannon que nos dice: 𝑓𝑤 = 2𝑊 𝑓𝑤 𝑊= 2 1𝐾𝐻𝑧 𝑊= 2 𝑾 = 𝟓𝟎𝟎𝑯𝒛 Reemplazando en la fórmula anterior tenemos: 1 𝐶 = 500 log 2 (1 + ) 1 𝑪 = 𝟓𝟎𝟎 𝒃𝒊𝒕𝒔/𝒔𝒆𝒈 . 𝟕𝟐 𝒃𝒊𝒕𝒔⁄𝒔𝒆𝒈 = 𝟏𝟏. 𝟓𝟖 𝑴𝒃𝒑𝒔 EJERCICIOS CANAL GAUSSIANO 1. 𝟓𝟖 𝑲𝒃𝒑𝒔 Calculamos la capacidad de canal del radio: 𝐶 = 5𝑀𝐻𝑧 log 2 (1 + 3. Considera un canal gaussiano de tiempo discreto: La señal 𝒖(𝒏) es blanca y gaussiana de potencia igual a la unidad. La frecuencia de muestreo es de 1KHz. 𝑪 = 𝟏𝟏𝟓𝟖𝟎. La potencia de la señal de entrada es también igual a la unidad. Obtenga la capacidad del canal (expresada en bit/seg).98) 𝑪 = 𝟏𝟏.