,

. : 5//2007-08, 1/5/2008-09.
:
(i) 1=0 2=1.

P(a1 ) 0.8

P ( a 2 ) 0 .2

(ii) mapper (=)

,

x1 '00' , x 2 '01' , x3 '10' , x 4 '11'

, (
).
(iii).

P( y1 / x1 ) 1.0 P( y1 / x 2 ) 0.3 P ( y 2 / x 2 ) 0.5 P ( y 2 / x 4 ) 0.1

P ( y 3 / x 2 ) 0 .2 P ( y 3 / x 3 ) 1 .0 P ( y 4 / x 4 ) 0 .9

:
(). P(X),
(). , (), mapper
(). T ;

P (Y / X )
().

Y y1 , y 2 , y 3 , y 4

(). P(Y)

H (Y )

H (Y / X )
().

H (X /Y )
,

I ( X ;Y )

: ,
,

.


().

P( X ) p ( x1 )

xi (i=1,..4)
x1=11
x2=12
x3=21
x4=22

p( x 2 )

p( x3 )

P(xi)
0.64
0.16
0.16
0.04

Code
00
01
10
11

p ( x 4 ) 0.64 0.16 0.16 0.04

H ( A) p (a i ) log 2 ( p (a i )) 0.8 log 2 0.8 0.2 log 2 0.2 0.72 bits / symbol
i 1

(
4

H ( X ) p( x i ) log 2 ( p ( xi )) 0.64 log 2 0.64 0.16 log 2 0.16 0.16 log 2 (0.16) 0.04 log 2 (0.04)
i 1

1.44 bits / symbol

H ( X ) 2 H ( A)
(). ,

P Y / X

P ( y1 / x1 ) P ( y 2 / x1 ) P( y 3 / x1 ) P ( y 4 / x1 )
P( y / x ) P( y / x ) P( y / x ) P( y / x )
1
2
2
2
3
2
4
2

P( y1 / x3 )

P ( y 2 / x3 )

P ( y 3 / x3 )

P ( y 4 / x3 )

0
0
1
0.3 0.5 0.2

P ( y1 / x 4 ) P ( y 2 / x 4 ) P ( y 3 / x 4 ) P( y 4 / x 4 )

0.1

Y y1 , y 2 , y 3 , y 4
().

P Y P X P Y / X
P Y P X P Y / X

P(Y ) p ( y1 )

p ( y2 )

p ( y3 )

P(Y ) p ( y1 )

p ( y2 )

p ( y3 )

0
0
0
1
0.3 0.5 0.2 0

p ( y4 ) 0.64 0.16 0.16 0.04
0
0
1
0

0 0.1 0 0.9
p ( y4 ) 0688 0.084 0.192 0.036

0
0
0

0.9