Ê





3.1. Thµnh phè nä cã 1% d©n sè lµ sinh viªn. Trong sè sinh viªn cã

50% lµ nam thanh niªn. Sè nam thanh niªn trong thµnh phè lµ 32%.
Gi¶ sö ta gÆp mét nam thanh niªn. H·y tÝnh l-îng th«ng tin chøa
trong tin khi biÕt r»ng ®ã lµ mét sinh viªn

Bài làm 3.1

Gäi -1 là sӵ kiӋn gһp mӝt nam thanh niên › › ( -1 )  0,32
-2 là sӵ kiӋn gһp mӝt sinh viên › › ( -2 )  0, 01
Khi đó xác suҩt sӕ sinh viên có trong sӕ nam thanh niên là › ( -1 / -2 )  0,5
Bài toán đһt ra là phҧi tìm xác suҩt đӇ có mӝt sinh viên trong sӕ nam thanh
niên › ( -2 / -1 )  ?
Tӯ đҫu bài ta có nhұn xét sau :
-1 và -2 là 2 biӃn cӕ ( 2 sӵ kiӋn ) phөc thuӝc nhau, do đó xác suҩt đӇ -1 và
-2 xҧy ra đӗng thӡi là

› ( -1 , -2 )  › ( -1 ). ›( -2 / -1 )  ›( -2 ). ›( -1 / -2 ) (1)
Tӯ (1) suy ra

›( -2 ). ›( -1 / -2 ) 0, 01.0,5 1
› ( -2 / -1 )   
› ( -1 ). 0,32 64
Lưӧng thông tin

1
i ( -2 / -1 )  log ›( -2 / -1 )  log  log 2 6  6,0

64
i ( -2 / -1 ) —





1
3.2. Êã hai hép ®ùng bót ch×, mçi hîp ®ùng 20 bót ch×. Hép thø nhÊt
cã 10 bót tr¾ng, 5 bót ®en vµ 5 bót ®á. Hép thø hai cã 8 bót tr¾ng,
8 bót ®en vµ 4 bót ®á. Ta lÊy hó ho¹ mét bót ch× tõ mçi hép. Hái
r»ng phÐp thö nµo trong hai phÐp thö nãi trªn cã ®é bÊt ®Þnh lín.
ÿ 
ëӝp A có : 10 trҳng, 05 đen, 05 đӓ ĺ ™ = 20
ëӝp B có : 08 trҳng, 08 đen, 04 đӓ ĺ ™ = 20
Lҩy ngүu nhiên mӛi hӝp 01 bút chì :
ë 
10 1 5 1
Xác suҩt lҩy đưӧc trҳng : p(ai) = = ; Xác suҩt lҩy đưӧc đen : p(a2) = =
20 2 20 4
5 1
Xác suҩt lҩy đưӧc đӓ : p(a3) =
20 4
ë ÿ
8 2 8 2
Xác suҩt lҩy đưӧc trҳng : p(b1) = = ; Xác suҩt lҩy đưӧc đen : p(b2) = =
20 5 20 5
4 1
Xác suҩt lҩy đưӧc đӓ : p(b3) = =
20 5
Vұy A và B có thӇ biӇu diӉn :
 Y1 Y 2 Y 3
 1 2 3

 O  O
A = 1 1 1 O B = 2 2 1 O
 O  O
2 4 4 5 5 5
Ta có :
3
1 1 1 1 1 1
ë(A) = -  ›(a i ) log 2 ›(a i ) = - log 2 - log 2 - log 2 = 1,5

1 2 2 4 4 4 4
3
2 2 2 2 1 1 4
ë(B) = -  ›(b j ) log 2 › ( j ) = - log 2 - log 2 - log 2 = - + log 2 5 = 1,52
 1 5 5 5 5 5 5 5

Ta thҩy ë(B)>ë(A), và Entrpy là đӝ bҩt đӏnh trung bình cӫa nguӗn tin nên phép thӱ ӣ hӝp
B có đӝ bҩt đӏnh cao hơn.

2
3.3. Ê c tÝn hiÖu x1 , x 2 víi c c x c suÊt tiªn nghiÖm x1  / ,

x 2  1/ ®-îc truyÒn theo kªnh nhÞ h©n ®èi xøng cã nhiÔu nh-
h×nh vÏ. Do cã nhiÔu nªn x c suÊt thu ®øng mçi tÝn hiÖu gi¶m ®i chØ
b»ng 7/8. H·y t×m:
a. L-îng tin tøc riªng cã ®iÒu kiÖn I x 2 / y 2

b. L-îng tin tøc chÐo I x 2 ,y 2

c. Ê c l-îng tin tøc trung b×nh I X,y 2 , H(X), H(X/Y), I(X,Y)


‘ / ‘  /
‘  / x1 y1

c 
‘ / a  ‘/ 
a / ‘  ‘/
c
 a  ‘/ x2 y2

a / a  /

Bài làm 3.3

a. Tính lưӧng tin riêng có điӅu kiӋn i ( -2 / 1 ) 

Ta có :
› ( -2 , 2 )  ›( -2 ). ›( 2 / -2 )  ›( 2 ). ›( -2 / 2 )

1 7 7
.
› ( -2 ). ›( 2 / -2 )
› ( -2 / 2 )   4 8  32 (1)
› ( 2 ) ›( 2 ) ›( 2 )

3 1 1 7 10
› ( 2 )  ›( -1 ). ›( 2 / -1 )
›( -2 ). ›( 2 / -2 )  .
. 
4 8 4 8 32

3
 10
Thay › ( 2 )  vào (1) ta có
32
7 7
7
› ( -2 / 2 )  32  32 
›( 2 ) 10 10
32
Suy ra
7
i ( -2 /  2 )  lo g
 0 , 5 1 4 5 7 3 
10
   i ( - 2 ,  2 ) 
7
› ( -2 / 2 )
i ( - 2 ,  2 )  lo g  lo g 1 0  lo g 2 , 8  1, 5
 
› ( -2 ) 1
4
   i (  / 2 ) üë
üë
ü
ü
2
› (x i / 2 )
 i (  , 2 )   [I(x i , 2 )]  › (xi / 2 ).log
i 1 ›( -
) 
› (x1 / 2 ) › (x 2 / 2 )
i (  , 2 )  › (x1 / 2 ).log
›(x 2 / 2 ).log (2)
› ( -1 ) › ( -2 )
7 3
Thay › (x1 / 2 )  1 ›(x 2 / 2 )  1  vào (2)
10 10


! i ( / 2 ) —ü
" #
2
Õ ë(X) =  ›( - ).log ›( - )  0,811278 




1

2 2
Õë(X/Y)=  › ( -
,   ).log › ( -
/   ) —

1  1

— › ( -1 , 1 ).log › ( -1 / 1 ) m ›( -1 , 2 ).log ›( -1 / 2 ) m ›( -2 , 1 ).log ›( -2 / 1 ) m ›( -2 , 2 ).log ›( -2 / 2 )


4
 3 7 21
Tính › ( -1 , 1 )  › ( -1 ). ›( 1 / -1 )  .  ;
4 8 32
3 1 3
› ( -1 , 2 )  › ( -1 ). ›( 2 / -1 )  . 
4 8 32
1 1 1
› ( -2 , 1 )  › ( -2 ). ›( 1 / -2 )  . 
4 8 32
1 7 7
› ( -2 , 2 )  › ( -2 ). › (  2 / -2 )  .  ;
4 8 32
7 3
› ( -2 / 2 )  ; › ( -1 /  2 )  ;
10 10
› ( -1 , 1 )  › ( -1 ). ›( 1 / -1 )  › ( 1 ). › ( -1 / 1 )
3 7
.
› ( -1 ). ›( 1 / -1 ) 4 8 21 1
› ( -1 / 1 )    ; › ( -2 / 1 ) 
›( 1 ) 22 22 22
32

Thay các phép tính trên vào (3) ta có

ë(X/Y)=0,459 bit
Õ Tính I(X,Y)=ë(X)-ë(X/Y)=0,352 bit

3.5. Mét ®iÖn ®µi v« tuyÕn ®iÖn gåm 16 khèi cã gi¸ trÞ nh- nhau
vÒ ®é tin cËy vµ ®-îc m¾c nèi tiÕp vµ mét thiÕt bÞ kiÓm tra ±
th«ng b¸o sù háng hãc cña c¸c khèi. H·y tÝnh sã lÇn thö Ýt
nhÊt tiÕn hµnh b»ng thiÕt bÞ kiÓm tra ± th«ng b¸o ®ã ®Ó cã
thÓ ph¸t hiÖn bÊt cø sù háng hãc nµo cña tÊt c¶ c¸c khèi.

Theo gi¶ thiÕt ®é bÊt ®Þnh cña khèi háng lµ:

1
I a i   log p a i   log  4 bit
16
L-îng th«ng tin nhËn ®-îc sau mçi phÐp ®o:
ë B  p log p  1  p log 1  p
Víi p : x c suÊt cã tÝn hiÖu

5
 1 p : x c suÊt kh«ng cã tÝn hiÖu
§Ó x c ®Þnh ®-îc khèi háng (khö hÕt ®é bÊt ®Þnh) sè phÐp ®o
cÇn thiÕt n lµ:
I a i
n min 
H  max
1
H › max khi p  1 p 
2
ë B max
 1bit
4 bit
n min   4 lÇn ®o
1bit
§Ó nmin thuËt to n ®o ph¶i ®¶m b¶o H  › max ˆ Mçi lÇn ®o
ph¶i ®o ë ®iÓm gi÷a cña c c khèi cÇn x c ®Þnh nh»m ®¶m b¶o
1
p 1 p  .
2
Gi¶ sö khèi háng lµ khèi 6. Ê c phÐp ®o cÇn thiÕt lµ:
- LÇn 1: §o ë ®Çu ra khèi 8: Kh«ng cã tÝn hiÖu, khèi háng n»m
trong c c khèi tõ 1 › 8.
- LÇn 2: §o ë ®Çu ra khèi 4: Kh«ng cã tÝn hiÖu, khèi háng n»m
trong c c khèi tõ 5 › 8.
- LÇn 3: §o ë ®Çu ra khèi 6: Kh«ng cã tÝn hiÖu, khèi háng n»m
trong khèi 5 hoÆc 6.
- LÇn 4: §o ë ®Çu ra khèi 5: Êã tÝn hiÖu. VËy khèi háng lµ khèi 6

3.9. A chän mét trong c¸c sè tõ 0 Í 7. Hái B ph¶i dïng trung b×nh
bao nhiªu c©u hái ®Ó t×m ra sè A mµ A ®· chän ?

§é bÊt ®Þnh cña sè ®-îc chän ngÉu nhiªn:

1
I a i   log p a i   log  3bit
8
§Ó t×m ®-îc sè ®· chän cña A, B ph¶i ®Æt c c c©u hái cho A ®Ó
thu ®-îc ®ñ mét l-îng th«ng tin cÇn thiÕt lµ 3 bÝt.

6
 Mçi c©u hái cña B (d¹ng lùa chän) cã thÓ xem lµ nguån rêi r¹c nhÞ
ph©n, bëi vËy l-îng th«ng tin nhËn ®-îc sau mçi c©u tr¶ lêi t-¬ng øng lµ:
H   p log p 1 p log 1 p
Víi p : x c suÊt nhËn c©u tr¶ lêi ®óng
1  p : x c suÊt nhËn c©u tr¶ lêi sai
I a i
VËy sè c©u hái cÇn thiÕt n lµ : n 
H
I a i
Sè c©u hái trung b×nh tèi thiÓu lµ: n min 
H max

1
ë B max
khi p  1 p 
2
3bit
n min   3 lÇn hái
1bit
Gi¶ sö A chän sè 3. Ê c c©u hái B cã thÓ ®Æt cho A lµ:
- Ê©u 1 - Sè A chän lín h¬n 3? Tr¶ lêi: Sai
- Ê©u 2 - Sè A chän lín h¬n 1? Tr¶ lêi: §óng
- Ê©u 3 - Sè A chän lín h¬n 2? Tr¶ lêi: Sai
VËy sè A chän lµ 3

x$ %%%&

àӛi mӝt điӇm ҧnh (phҫn tӱ ҧnh) có 8 mӭc sáng đӗng xác suҩt, do đó lưӧng
thông tin trung bình cӫa mӛi tin (Entropy) là cӵc đҥi và bҵng log8=3
Vӟi 5.10^5 yӃu tӕ (phҫn tӱ) thì Lưӧng thông tin là 5.10^5x 3=1,5.10^6 bit
Khҧ năng thông qua cӫa kênh VTTë là : C¶=25x1,5.10^6 (b/s)
Theo công thӭc 3.52 (trang 111)
 P

C'  Flog 1 m s O
 Pn

C¶=Flog16=4F -> F=C¶/4=9,375.10^6ë

7
3.13 : Trong 27 ®ång xu cã 1 ®ång xu gi¶ nhÑ h¬n. §Ó t×m ®-îc
®ång xu gi¶ ng-êi ta sö dông mét c©n ®Üa th¨ng b»ng. H·y
tÝnh sè lÇn c©n trung b×nh tèi thiÓu ®Ó x¸c ®Þnh ®-îc ®ång
xu gi¶. Nªu thuËt to¸n c©n ?
c
Theo gi¶ thiÕt ®é bÊt ®Þnh chøa trong sù kiÖn ®ång xu gi¶ lµ :
I(xi) = - log p(xi) = - log 1/27 = log 27 bit
Khi sö dông c©n ®Üa th¨ng b»ng, sau mçi lÇn c©n c c sù kiÖn cã
thÓ cã lµ :
- Ê©n th¨ng b»ng víi x c suÊt p
- Ê©n lÖch tr i víi x c suÊt q
- Ê©n lÖch ph¶i víi x c suÊt 1-p-q
L-îng th«ng tin nhËn ®-îc sau mçi lÇn c©n :
H(B) = -plog p ± qlog q ± (1-p-q)log (1-p-q)
§Ó x c ®Þnh ®-îc ®ång xu gi¶ tæng l-îng th«ng tin nhËn ®-îc sau
c c lÇn c©n ph¶i kh«ng nhá h¬n ®é bÊt ®Þnh cña ®«ng xu gi¶. Nh-
vËy sè lÇn c©n cÇn thiÕt lµ : n = I(xi)/H(B)
§Ó n cã gi trÞ nhá nhÊt th× H(B) ph¶i ®¹t gi trÞ cùc ®¹i.
Ta cã H(B) = H(B)max= log 3 khi p = q = 1-p-q = 1/3.
Khi ®ã nmin= I(xi)/H(B)max = log27/log 3 = 3 lÇn c©n.
ThuËt to n c©n nh- sau( ®¶m b¶o p = q = 1-p-q )
- LÇn 1 : Êhia 27 ®ång xu thµnh 3 phÇn, mçi phÇn cã 9 ®ång xu.
LÊy 2 phÇn bÊt kú ®Æt lªn mçi bµn c©n 1 phÇn . NÕu c©n
th¨ng b»ng th× ®ång xu gi¶ n»m trong 9 ®ång xu ch-a c©n.
Ng-îc l¹i, tuú theo c©n lÖch tr i hay lÖch ph¶i ta còng x c ®Þnh
®-îc phÇn cã chøa ®ång xu gi¶.

8
 - LÇn 2 : Êhia 9 ®ång cã chøa ®ång xu gi¶ thµnh 3 phÇn nh-
nhau, mçi phÇn cã 3 ®ång xu. §Æt 2 phÇn bÊt kú lªn 2 bµn c©n.
KÕt qu¶ cña phÐp c©n sÏ gióp ta x c ®Þnh ®-îc 3 ®ång xu cã
chøa ®«ng xu gi¶.
- LÇn 3 : LÊy 2 ®ång xu bÊt kú trong 3 ®ång xu cã chøa ®ång xu
gi¶ ®Æt lªn 2 ®Üa c©n. Sau lÇn c©n nµy ta sÏ x c ®Þnh ®-îc
®ång xu gi¶.

3.14: ~
c c c  c

 c  c c 
c
c c 
c c c c c
ccc
 c~!c"#c$c%c c&c#ccc'c$(c)*c
$
cc)c+,$c)-c)./$ccccc)0c  c12c3c
,c%4c56c
"7cc c c8cc c09c2c$,$c$c%c$(c:4c
§é bÊt ®Þnh vÒ qu©n bµi mµ A ®· rót:
1
I a i  log p a i  log  6 bit
52
Gi¶ sö B ®Æt cho A c©u hái d¹ng lùa chän, khi ®ã l-îng th«ng tin
nhËn ®-îc sau mçi c©u tr¶ lêi cña A lµ:
ë B  p log p  1  p log 1  p
Víi p : x c suÊt nhËn c©u tr¶ lêi lµ ®óng
1  p : x c suÊt nhËn c©u tr¶ lêi lµ sai
Sè c©u hái cÇn thiÕt ®Ó x c ®Þnh ®-îc qu©n bµi A ®· rót lµ:
I a i
n
ë B
Ta thÊy n › min khi H  › max
1
ë B  ë B max
 1bit khi p  1 p 
2
log 52 bit
Sè c©u hái trung b×nh tèi thiÓu lµ: n min   6 lÇn
1bit

9
 1
ThuËt to n ph¶i ®¶m b¶o p  1  p  .
2
Gi¶ sö A rót ra 7 r«. Ê c c©u hái cÇn thiÕt cã thÓ nh- sau:
- Ê©u 1: Qu©n A rót lµ qu©n ®á? §óng
- Ê©u 2: Qu©n A rót lµ qu©n c¬? Sai
- Ê©u 3: Qu©n A rót cã gi trÞ ! 7? §óng (gi¶ sö J = 11, Q = 12, K
= 13, At=1)
- Ê©u 4: Qu©n A rót cã gi trÞ ! 3? Sai
- Ê©u 5: Qu©n A rót cã gi trÞ ! 5? Sai
- Ê©u 6: Qu©n A rót lµ 6 r«? Sai
VËy qu©n A rót lµ 7 r«

10